-
公开(公告)号:CN119323805B
公开(公告)日:2025-02-25
申请号:CN202411876774.0
申请日:2024-12-19
Applicant: 华侨大学
IPC: G06V40/10 , G06N3/0464 , G06N3/084 , G06V10/32 , G06V40/20
Abstract: 本发明公开了一种动静正则混合采样的行人再辨识方法及系统,涉及公共安全智能视频监控技术领域。实践中,采样常独立于行人再辨识模型训练,导致训练过程采样的信息丢失不受控制,制约识辨准确性。为此,本发明设计了正则动态线性采样和静态线性采样混和方法,实现行人再辨识模型训练过程中联合优化采样效果,其中,前者通过归一化的可学习参数,以数据驱动的动态方式学得动态的像素组合权重;后者利用双线性变换来确定静态的像素组合权重,实现与数据无关的采样策略。本发明进一步设计了动静正则项,约束动态的像素组合权重与静态的像素组合权重之间的差异,控制可学习参数的自由度,更好地组合动静采样,减少传统单一静态采样过程中信息损失。
-
公开(公告)号:CN119205752A
公开(公告)日:2024-12-27
申请号:CN202411703532.1
申请日:2024-11-26
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T7/00 , G06N3/045 , G06V10/26 , G06V10/52 , G06V10/54 , G06V10/80 , G06V10/82 , G06V20/40 , H04N17/00
Abstract: 本发明公开了一种基于注意力引导的屏幕内容视频质量评价方法及装置,涉及视频质量评价领域,包括:构建时空融合的屏幕内容视频质量评价模型并训练,得到经训练的屏幕内容视频质量评价模型,屏幕内容视频质量评价模型包括空域质量评价分支和时域质量评价分支;获取屏幕内容视频并提取得到若干个碎片化视频和若干个关键帧;将每个碎片化视频和关键帧输入经训练的屏幕内容视频质量评价模型,分别经过空域质量评价分支和时域质量评价分支,得到空域质量分数和时域质量分数,两者结合得到屏幕内容视频的质量分数。本发明解决现有视频质量评价方法的敏感性差,视觉质量评价准确度低等问题。
-
公开(公告)号:CN118450127B
公开(公告)日:2024-11-05
申请号:CN202410885047.4
申请日:2024-07-03
Applicant: 华侨大学
IPC: H04N19/147 , H04N19/625 , H04N19/136 , H04N19/149
Abstract: 本发明公开了一种融合空频域显著性特征的SCV编码感知码率控制方法及装置,涉及视频编码领域,方法包括:获取屏幕内容视频,通过卷积、相似度计算,对屏幕内容视频在空域上进行显著性建模,获得空域的显著性特征;其次利用DCT变换,对屏幕内容视频在频域上进行显著性建模,获得频域的显著性特征;然后利用显著性因子指导CTU级的目标比特分配;最后通过显著性因子构建显著性启发的感知码率控制模型,调节参数,实现码率控制。本发明通过提取空域和频域的显著性特征并加以融合求得显著性因子,使用显著性因子指导码率控制,能够提高编码率失真性能,提升码率分配精度。
-
公开(公告)号:CN118411583B
公开(公告)日:2024-10-22
申请号:CN202410836696.5
申请日:2024-06-26
Applicant: 华侨大学
IPC: G06V10/776 , G06N3/0464 , G06V10/54 , G06V10/74 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于多特征融合的沉浸式视频质量评价方法及装置,涉及视频处理领域,包括:对参考纹理视频序列和失真纹理视频序列采用3D‑LOG滤波器进行特征提取,得到参考纹理特征和失真纹理特征,并计算得到纹理特征相似度,基于纹理特征相似度通过3D‑LOG池化策略得到纹理视频质量分数;根据参考深度视频序列和失真深度视频序列计算得到参考深度特征和失真深度特征;根据参考深度特征和失真深度特征计算得到深度特征相似度并确定梯度权重,根据深度特征相似度和梯度权重计算得到深度视频质量分数;根据纹理视频质量分数和深度视频质量分数计算得到待评价的沉浸式视频的质量分数,解决现有视频评价算法不符合人眼视觉特性和沉浸式视频的特点的问题。
-
公开(公告)号:CN118609034B
公开(公告)日:2024-10-15
申请号:CN202411080625.3
申请日:2024-08-08
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于帧级时间聚合策略的沉浸式视频质量评价方法及装置,涉及视频处理领域,方法包括:通过帧抽样策略去除视频冗余信息,采用卷积网络对沉浸式视频(即多视点纹理加深度视频)不同区域进行多尺度特征提取;接着使用注意力模型对特征进行加权,通过帧级时间聚合策略自适应地筛选沿时间维度的质量分数;最终结合六自由度(Degree of Freedom,DoF)时空轨迹权重获取失真沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果,稳定性和鲁棒性高。
-
公开(公告)号:CN118334711B
公开(公告)日:2024-08-27
申请号:CN202410757573.2
申请日:2024-06-13
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06V40/10 , G06N3/0455 , G06N3/0464 , G06T7/70 , G06V10/26 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种基于服装描述生成的行人性别与年龄识别方法及装置,涉及图像识别领域,包括:构建行人性别与年龄识别模型,通过线性映射层和前a层Transformer块将行人图像处理为识别特征和图像特征,利用人体部位检测模型获取行人图像中的人体部位的位置,并裁剪出各个人体部位图像,利用图像字幕生成模型生成各个人体部位图像对应的服装文字描述,并利用词嵌入模型将服装文字描述映射为服装文字描述向量,将服装文字描述向量输入特征提取模块,提取得到对应的向量特征,将所有向量特征拼接后再连接至识别特征和图像特征后,并依次经过后b层Transformer块、第一全连接层和Softmax函数层,得到识别结果,解决性别与年龄识别技术受观察角度与环境等因素影响较大的问题。
-
公开(公告)号:CN118411583A
公开(公告)日:2024-07-30
申请号:CN202410836696.5
申请日:2024-06-26
Applicant: 华侨大学
IPC: G06V10/776 , G06N3/0464 , G06V10/54 , G06V10/74 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于多特征融合的沉浸式视频质量评价方法及装置,涉及视频处理领域,包括:对参考纹理视频序列和失真纹理视频序列采用3D‑LOG滤波器进行特征提取,得到参考纹理特征和失真纹理特征,并计算得到纹理特征相似度,基于纹理特征相似度通过3D‑LOG池化策略得到纹理视频质量分数;根据参考深度视频序列和失真深度视频序列计算得到参考深度特征和失真深度特征;根据参考深度特征和失真深度特征计算得到深度特征相似度并确定梯度权重,根据深度特征相似度和梯度权重计算得到深度视频质量分数;根据纹理视频质量分数和深度视频质量分数计算得到待评价的沉浸式视频的质量分数,解决现有视频评价算法不符合人眼视觉特性和沉浸式视频的特点的问题。
-
公开(公告)号:CN118101938B
公开(公告)日:2024-06-25
申请号:CN202410497734.9
申请日:2024-04-24
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/154
Abstract: 本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置,涉及视频编码领域,方法包括:使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI;使用斯塔克尔伯格模型对ROI的失真进行建模,并采用二分法求解ROI的目标比特;计算编码图像的JND图作为空域视觉敏感度,对8x8互不重叠的子块进行运动估计,得到时域视觉敏感度;将有约束问题转化为无约束问题,并采用KKT条件进行最优化求解,得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长,人眼对ROI区域重点关注,提取空时域感知敏感度,对ROI和nROI的比特分配问题分别建模并进行最优化求解,合理进行比特分配。
-
公开(公告)号:CN116740143A
公开(公告)日:2023-09-12
申请号:CN202310744027.0
申请日:2023-06-21
Applicant: 华侨大学
IPC: G06T7/246 , G06T7/73 , G06V10/82 , G06V10/764 , G06V10/766 , G06V10/74
Abstract: 本发明提供一种联合轨迹损失和排名损失优化的鲁棒目标跟踪器,包括:步骤S1、用非权重共享的孪生骨干网络提取特征,得到模板特征图和历史特征图;步骤S2、利用模板特征图和历史特征图获得目标相似性响应图;步骤S3、利用轨迹损失学习使跟踪器学习目标的运动信息;步骤S4、利用IOU引导的排名损失优化跟踪器的分类子网络和回归子网络;步骤S5、联合轨迹损失和IOU引导的排名损失实现目标状态的估计。本发明能够提升孪生跟踪器的准确性和鲁棒性。
-
公开(公告)号:CN116668723A
公开(公告)日:2023-08-29
申请号:CN202310550087.9
申请日:2023-05-16
Applicant: 华侨大学
IPC: H04N19/597 , H04N19/593 , H04N19/124 , H04N19/119 , H04N19/61 , G06T9/00 , G06N3/0464
Abstract: 本发明公开了一种基于卷积神经网络的3D‑HEVC深度图帧内编码单元划分方法及装置,通过构建编码单元划分预测模型并训练,采用3D‑HEVC编码器对当前待编码块进行编码,在编码过程中确定编码单元的当前尺寸和当前编码量化参数;根据编码单元的当前尺寸和/或当前编码量化参数确定在编码过程中采用速度模式或性能模式,在速度模式中,将预测值作为当前待编码块的划分结果;在性能模式中,使用3D‑HEVC编码器预测当前待编码块的划分结果;判断编码单元的当前尺寸是否大于第四尺寸,若是则调整当前待编码块的尺寸缩小一个级别,并重复以上步骤,直至得到当前待编码块的所有划分结果,本方法在保证一定编码质量的前提下,能够显著节省深度图编码所需时间。
-
-
-
-
-
-
-
-
-