-
公开(公告)号:CN118411583B
公开(公告)日:2024-10-22
申请号:CN202410836696.5
申请日:2024-06-26
Applicant: 华侨大学
IPC: G06V10/776 , G06N3/0464 , G06V10/54 , G06V10/74 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于多特征融合的沉浸式视频质量评价方法及装置,涉及视频处理领域,包括:对参考纹理视频序列和失真纹理视频序列采用3D‑LOG滤波器进行特征提取,得到参考纹理特征和失真纹理特征,并计算得到纹理特征相似度,基于纹理特征相似度通过3D‑LOG池化策略得到纹理视频质量分数;根据参考深度视频序列和失真深度视频序列计算得到参考深度特征和失真深度特征;根据参考深度特征和失真深度特征计算得到深度特征相似度并确定梯度权重,根据深度特征相似度和梯度权重计算得到深度视频质量分数;根据纹理视频质量分数和深度视频质量分数计算得到待评价的沉浸式视频的质量分数,解决现有视频评价算法不符合人眼视觉特性和沉浸式视频的特点的问题。
-
公开(公告)号:CN118609034B
公开(公告)日:2024-10-15
申请号:CN202411080625.3
申请日:2024-08-08
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于帧级时间聚合策略的沉浸式视频质量评价方法及装置,涉及视频处理领域,方法包括:通过帧抽样策略去除视频冗余信息,采用卷积网络对沉浸式视频(即多视点纹理加深度视频)不同区域进行多尺度特征提取;接着使用注意力模型对特征进行加权,通过帧级时间聚合策略自适应地筛选沿时间维度的质量分数;最终结合六自由度(Degree of Freedom,DoF)时空轨迹权重获取失真沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果,稳定性和鲁棒性高。
-
公开(公告)号:CN118334733B
公开(公告)日:2024-09-24
申请号:CN202410757576.6
申请日:2024-06-13
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06V40/16 , G06N3/0464 , G06N3/048 , G06N3/08 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 本发明公开了一种基于池化正交融合的面部色素斑分类方法及装置,涉及图像识别领域,包括:构建面部色素斑分类模型并训练,得到经训练的面部色素斑分类模型,面部色素斑分类模型中,利用深度骨干网络对色素斑图像进行特征提取,得到特征映射,池化正交融合模块中,先验平均池化分支用于提取特征映射中的空间全局信息,获得具有空间稳定性的先验池化特征,后验可学习池化分支借助可学习权重挖掘特征映射中的空间分布信息,获得空间敏感性的后验可学习池化特征,利用正交融合模块对先验池化特征和后验可学习池化特征进行正交融合,得到正交融合特征并输入到第一全连接层和Softmax函数层,输出预测类别概率。本发明解决散射分布斑点分类难的问题。
-
公开(公告)号:CN118334711B
公开(公告)日:2024-08-27
申请号:CN202410757573.2
申请日:2024-06-13
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06V40/10 , G06N3/0455 , G06N3/0464 , G06T7/70 , G06V10/26 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种基于服装描述生成的行人性别与年龄识别方法及装置,涉及图像识别领域,包括:构建行人性别与年龄识别模型,通过线性映射层和前a层Transformer块将行人图像处理为识别特征和图像特征,利用人体部位检测模型获取行人图像中的人体部位的位置,并裁剪出各个人体部位图像,利用图像字幕生成模型生成各个人体部位图像对应的服装文字描述,并利用词嵌入模型将服装文字描述映射为服装文字描述向量,将服装文字描述向量输入特征提取模块,提取得到对应的向量特征,将所有向量特征拼接后再连接至识别特征和图像特征后,并依次经过后b层Transformer块、第一全连接层和Softmax函数层,得到识别结果,解决性别与年龄识别技术受观察角度与环境等因素影响较大的问题。
-
公开(公告)号:CN118196840B
公开(公告)日:2024-08-09
申请号:CN202410610290.5
申请日:2024-05-16
Applicant: 华侨大学
Abstract: 本发明公开了一种基于语义偏好挖掘的行人再辨识方法,涉及人工智能、机器视觉领域,包括:利用预训练的语义分割模型将行人图像处理为语义分割图,将语义分割图空间划分为若干部件语义块,计算不同语义在语义分割图与部件语义块中的比例,根据不同语义的比例对部件语义块分组进行语义对齐,获得各部件语义块分组对应的部件序号;基于部件序号对部件特征分组,利用自注意网络将各部件特征组投影到公共嵌入空间并进行偏好挖掘,继而利用偏好信息对各部件特征组进行自适应聚合,增强行人再辨识准确性。
-
公开(公告)号:CN118411583A
公开(公告)日:2024-07-30
申请号:CN202410836696.5
申请日:2024-06-26
Applicant: 华侨大学
IPC: G06V10/776 , G06N3/0464 , G06V10/54 , G06V10/74 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于多特征融合的沉浸式视频质量评价方法及装置,涉及视频处理领域,包括:对参考纹理视频序列和失真纹理视频序列采用3D‑LOG滤波器进行特征提取,得到参考纹理特征和失真纹理特征,并计算得到纹理特征相似度,基于纹理特征相似度通过3D‑LOG池化策略得到纹理视频质量分数;根据参考深度视频序列和失真深度视频序列计算得到参考深度特征和失真深度特征;根据参考深度特征和失真深度特征计算得到深度特征相似度并确定梯度权重,根据深度特征相似度和梯度权重计算得到深度视频质量分数;根据纹理视频质量分数和深度视频质量分数计算得到待评价的沉浸式视频的质量分数,解决现有视频评价算法不符合人眼视觉特性和沉浸式视频的特点的问题。
-
公开(公告)号:CN118101938B
公开(公告)日:2024-06-25
申请号:CN202410497734.9
申请日:2024-04-24
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/154
Abstract: 本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置,涉及视频编码领域,方法包括:使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI;使用斯塔克尔伯格模型对ROI的失真进行建模,并采用二分法求解ROI的目标比特;计算编码图像的JND图作为空域视觉敏感度,对8x8互不重叠的子块进行运动估计,得到时域视觉敏感度;将有约束问题转化为无约束问题,并采用KKT条件进行最优化求解,得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长,人眼对ROI区域重点关注,提取空时域感知敏感度,对ROI和nROI的比特分配问题分别建模并进行最优化求解,合理进行比特分配。
-
公开(公告)号:CN113949872B
公开(公告)日:2024-06-25
申请号:CN202111320458.1
申请日:2021-11-09
Applicant: 华侨大学
IPC: H04N19/147 , H04N19/70
Abstract: 本发明涉及一种基于3D‑Gradient引导的屏幕内容视频编码码率控制方法,属于视频编码领域。本方法采用3D‑Gradient滤波器同时提取屏幕内容视频序列空域和时域的边缘结构特征以及运动信息,将屏幕内容中空域和时域特征进行融合,获取最终的像素级复杂度因子。通过像素级复杂度因子计算CTU级复杂度因子CF进行CTU级的目标比特分配。利用当前编码帧的参考帧以及重建帧的相似度结合目标比特进行率失真模型的构建,实现目标比特,引导码率控制模型的生成。本发明提出的屏幕内容视频编码码率控制方法能够提高码率控制精度,明显改善重建视频序列的率失真性能,在一定程度上降低视频编码时间复杂度。
-
公开(公告)号:CN117456560B
公开(公告)日:2024-03-29
申请号:CN202311775203.3
申请日:2023-12-22
Applicant: 华侨大学
IPC: G06V40/10 , G06V10/26 , G06V10/44 , G06V10/771 , G06V10/82
Abstract: 本发明公开了一种基于前景感知动态部件学习的行人再辨识方法,涉及人工智能、机器视觉领域,包括:将浅层特征映射解码为前景能量图,利用交叉熵优化前景能量图,使其趋于真实前景标签,再将前景能量图空间划分为若干部件能量块,用各个部件能量块代表相应的浅层特征映射块的当前重要性;结合当前重要性和历史重要性对各浅层特征映射块进行综合重要性计算并排序,根据综合重要性排序优先选择高综合重要性的浅层特征映射块参与行人再辨识模型训练,从而减少来自背景区域的低综合重要性的浅层特征映射块参与行人再辨识模型训练的机会,达到抑制背景区域对行人辨识的干扰,提升行人再辨识准确性,可广泛应用于智慧城市场景中的城市安防系统。
-
公开(公告)号:CN117196959B
公开(公告)日:2024-03-01
申请号:CN202311475294.9
申请日:2023-11-08
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于自注意力的红外图像超分辨率方法、装置及可读介质,涉及图像处理领域,包括:构建基于自注意力的轻量级红外图像超分辨率模型并训练,得到经训练的轻量级红外图像超分辨率模型;将待重建的低分辨率红外图像输入经训练的轻量级红外图像超分辨率模型,该模型包括3×3卷积层、轻量级Transformer与CNN骨干、高效细节自注意力模块和图像重建模块,待重建的低分辨率红外图像输入3×3卷积层,得到第一特征,再依次经过轻量级Transformer与CNN骨干和高效细节自注意力模块,且高效细节自注意力模块以共享参数的方式循环n次,得到第二特征,将第一特征和第二特征进行残差连接后输入图像重建模块,输出高分辨率红外图像,解决参数量冗余、性能差等问题。
-
-
-
-
-
-
-
-
-