-
公开(公告)号：CN118521876B
公开(公告)日：2024-10-22
申请号：CN202410978491.0
申请日：2024-07-22
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06V10/40 , G06V10/54 , G06V10/74 , G06V10/776 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置，涉及视频处理领域，为了尽可能地解决视频中所存在的冗余信息问题，首先采用随机抽样的方式筛选视频帧；然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征，采用预训练的ResNet50模型进行特征提取；并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响，利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数；最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。
-
公开(公告)号：CN114239730B
公开(公告)日：2024-08-20
申请号：CN202111564321.0
申请日：2021-12-20
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06F16/901 , G06N5/025 , G06F40/30 , G06V10/44 , G06F16/33 , G06F16/56 , G06N3/045 , G06N3/0464
Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法，包括：构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型；将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练；结合近邻样本排序损失函数和语义相似度度量损失函数，计算语义对齐的损失值，通过训练缩小损失值，得到训练好的深度神经网络模型；通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达，并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中，实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。
-
公开(公告)号：CN118101938B
公开(公告)日：2024-06-25
申请号：CN202410497734.9
申请日：2024-04-24
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/154
Abstract: 本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置，涉及视频编码领域，方法包括：使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI；使用斯塔克尔伯格模型对ROI的失真进行建模，并采用二分法求解ROI的目标比特；计算编码图像的JND图作为空域视觉敏感度，对8x8互不重叠的子块进行运动估计，得到时域视觉敏感度；将有约束问题转化为无约束问题，并采用KKT条件进行最优化求解，得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长，人眼对ROI区域重点关注，提取空时域感知敏感度，对ROI和nROI的比特分配问题分别建模并进行最优化求解，合理进行比特分配。
-
公开(公告)号：CN116109880A
公开(公告)日：2023-05-12
申请号：CN202310088624.2
申请日：2023-02-09
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明提供一种鬼影方位视觉注意力学习方法。现有方位视觉注意力学习方法依赖卷积运算进行维度变换以及方位信息学习，计算和参数代价都较高。为此，本发明将轻量的鬼影模块耦合到方位视觉注意力学习方法中，设计降维鬼影模块轻量化压缩特征映射图，随后进行方位信息学习以节约计算和参数代价；设计去冗余鬼影模块降低特征映射图中的冗余信息，能改善特征质量。本发明作为一种新颖的视觉注意力机制有广泛应用，例如图像目标检测、图像目标识别、图像分割等。
-
公开(公告)号：CN114697681A
公开(公告)日：2022-07-01
申请号：CN202210390001.6
申请日：2022-04-14
Applicant: 华侨大学
IPC: H04N19/96 , H04N19/172
Abstract: 本发明提供一种基于纹理复杂度的H.266/VVC屏幕内容编码快速划分方法，包括如下步骤：对输入的屏幕内容视频帧进行LoG检测，对CU计算四叉树划分、水平二叉树划分以及垂直二叉树划分的子CU的纹理复杂度差异值；并比较四叉树划分、水平二叉树划分以及垂直二叉树划分的子CU的纹理复杂度差异值大小；如果四叉树划分的纹理复杂度差异值为最小，则跳过四叉树划分的率失真优化过程，如果水平二叉树划分的纹理复杂度差异值为最小，则跳过水平二叉树和水平三叉树划分的率失真优化过程，如果垂直二叉树划分的纹理复杂度差异值为最小，则跳过垂直二叉树和垂直三叉树划分的率失真优化过程；本发明方法在保证编码效率几乎不变的情况下有效降低了编码器计算复杂度。
-
Patent Agency Ranking
公开(公告)号：CN114743128B
公开(公告)日：2024-08-09
申请号：CN202210225924.6
申请日：2022-03-09
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V20/40 , G06V10/30 , G06N3/0464 , G06N3/08 , G06V10/774
Abstract: 本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置，涉及机器视觉技术领域，可应用于跟踪东北虎的活动轨迹调查，对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络，其中，双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征；Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立，用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；而Transformer网络从全局视角学习信息东北虎特征，减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。
-
公开(公告)号：CN114972812A
公开(公告)日：2022-08-30
申请号：CN202210624115.2
申请日：2022-06-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明提供一种基于结构相似度的非局部注意力学习方法，可广泛应用于机器视觉领域，例如图像分割、图像分类、图像识别等。现有非局部注意力方法简单计算不同空域位置的两个信号内积作为二者的相似度度量，并不完全符合人类视觉感知特点。针对这一问题，本发明提出利用结构相似度衡量不同空域位置的信号之间的相似度，在非局部注意力学习方法中充分考虑人类视觉对信号感知三个重要因素，即亮度、对比度和结构。其次，本发明进一步提出多尺度结构相似度度量策略，在不同尺度上更为全面地进行信号相似度度量。因此，本发明能够取得比现有非局部注意力方法更好地注意力学习效果。
-
公开(公告)号：CN113014916A
公开(公告)日：2021-06-22
申请号：CN202110219595.X
申请日：2021-02-26
Applicant: 华侨大学
IPC: H04N17/00
Abstract: 本发明公开了一种基于局部视频活动度的屏幕视频质量识别方法，方法包括：分别对参考和失真屏幕视频序列采用3D‑LOG滤波器提取屏幕特征；计算屏幕区域相似度，基于3D‑LOG池化策略得到屏幕质量分数；分别对参考和失真屏幕视频序列采用3D‑NSS方法提取自然特征；计算自然区域相似度，基于池化策略得到自然质量分数；计算局部视频活动度；基于局部视频活动度结合屏幕和自然质量分数获得最终失真屏幕视频质量评价值。本发明充分考虑到人类视觉系统对于屏幕视频的屏幕和自然内容区域感知度不同且人眼对于边缘特征高度敏感，具有较好的失真屏幕视频质量评价性能。
-
公开(公告)号：CN118521876A
公开(公告)日：2024-08-20
申请号：CN202410978491.0
申请日：2024-07-22
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06V10/40 , G06V10/54 , G06V10/74 , G06V10/776 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置，涉及视频处理领域，为了尽可能地解决视频中所存在的冗余信息问题，首先采用随机抽样的方式筛选视频帧；然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征，采用预训练的ResNet50模型进行特征提取；并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响，利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数；最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。
-
公开(公告)号：CN114972812B
公开(公告)日：2024-06-18
申请号：CN202210624115.2
申请日：2022-06-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/74 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于结构相似度的非局部注意力学习方法，可广泛应用于机器视觉领域，例如图像分割、图像分类、图像识别等。现有非局部注意力方法简单计算不同空域位置的两个信号内积作为二者的相似度度量，并不完全符合人类视觉感知特点。针对这一问题，本发明提出利用结构相似度衡量不同空域位置的信号之间的相似度，在非局部注意力学习方法中充分考虑人类视觉对信号感知三个重要因素，即亮度、对比度和结构。其次，本发明进一步提出多尺度结构相似度度量策略，在不同尺度上更为全面地进行信号相似度度量。因此，本发明能够取得比现有非局部注意力方法更好地注意力学习效果。
-
-
-
-
-
-
-
-
-
Search Results
26
records
(took 0.02 seconds)
