-
公开(公告)号:CN118521876A
公开(公告)日:2024-08-20
申请号:CN202410978491.0
申请日:2024-07-22
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06V10/40 , G06V10/54 , G06V10/74 , G06V10/776 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置,涉及视频处理领域,为了尽可能地解决视频中所存在的冗余信息问题,首先采用随机抽样的方式筛选视频帧;然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征,采用预训练的ResNet50模型进行特征提取;并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响,利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数;最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。
-
公开(公告)号:CN118334733A
公开(公告)日:2024-07-12
申请号:CN202410757576.6
申请日:2024-06-13
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06V40/16 , G06N3/0464 , G06N3/048 , G06N3/08 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 本发明公开了一种基于池化正交融合的面部色素斑分类方法及装置,涉及图像识别领域,包括:构建面部色素斑分类模型并训练,得到经训练的面部色素斑分类模型,面部色素斑分类模型中,利用深度骨干网络对色素斑图像进行特征提取,得到特征映射,池化正交融合模块中,先验平均池化分支用于提取特征映射中的空间全局信息,获得具有空间稳定性的先验池化特征,后验可学习池化分支借助可学习权重挖掘特征映射中的空间分布信息,获得空间敏感性的后验可学习池化特征,利用正交融合模块对先验池化特征和后验可学习池化特征进行正交融合,得到正交融合特征并输入到第一全连接层和Softmax函数层,输出预测类别概率。本发明解决散射分布斑点分类难的问题。
-
公开(公告)号:CN114972812B
公开(公告)日:2024-06-18
申请号:CN202210624115.2
申请日:2022-06-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/74 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于结构相似度的非局部注意力学习方法,可广泛应用于机器视觉领域,例如图像分割、图像分类、图像识别等。现有非局部注意力方法简单计算不同空域位置的两个信号内积作为二者的相似度度量,并不完全符合人类视觉感知特点。针对这一问题,本发明提出利用结构相似度衡量不同空域位置的信号之间的相似度,在非局部注意力学习方法中充分考虑人类视觉对信号感知三个重要因素,即亮度、对比度和结构。其次,本发明进一步提出多尺度结构相似度度量策略,在不同尺度上更为全面地进行信号相似度度量。因此,本发明能够取得比现有非局部注意力方法更好地注意力学习效果。
-
公开(公告)号:CN118101938A
公开(公告)日:2024-05-28
申请号:CN202410497734.9
申请日:2024-04-24
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/154
Abstract: 本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置,涉及视频编码领域,方法包括:使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI;使用斯塔克尔伯格模型对ROI的失真进行建模,并采用二分法求解ROI的目标比特;计算编码图像的JND图作为空域视觉敏感度,对8x8互不重叠的子块进行运动估计,得到时域视觉敏感度;将有约束问题转化为无约束问题,并采用KKT条件进行最优化求解,得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长,人眼对ROI区域重点关注,提取空时域感知敏感度,对ROI和nROI的比特分配问题分别建模并进行最优化求解,合理进行比特分配。
-
公开(公告)号:CN117373066B
公开(公告)日:2024-03-12
申请号:CN202311667337.3
申请日:2023-12-07
Applicant: 华侨大学
Abstract: 本发明公开了一种基于云边搜索联邦深度学习方法的行人再辨识方法及系统,涉及机器学习技术领域,方法包括以下步骤:S1,云端初始化全局深度网络模型,S2,云端将全局深度网络模型下发给边缘设备;S3,边缘设备利用个性化初始化函数构建总体优化目标函数,进行边缘深度网络模型训练;S4,云端对边缘深度网络模型权重参数进行加权平均聚合以更新云端全局深度网络模型;S5,重复S2至S4至最大次数,将最后一次生成的云端全局深度网络模型作为行人再辨识模型;S6,利用行人再辨识模型实现行人再辨识。本发明在保护数据隐私的前提下,让各个边缘设备根据本地数据特性个性化初始化自身网络,提升联邦学习中边缘深度网络和云端全局深度网络模型的性能。
-
公开(公告)号:CN117671135A
公开(公告)日:2024-03-08
申请号:CN202311512308.X
申请日:2023-11-14
Applicant: 华侨大学
IPC: G06T17/00 , G06N3/0455 , G06N3/0464 , G06T3/4053 , G06T7/13 , G06V10/40
Abstract: 本发明公开了一种基于稀疏再聚焦的高分辨率人脸图像重建方法,涉及图像处理技术领域,包括:利用卷积核为3×3的第一卷积层提取输入的低分辨率人脸图像的浅层特征;基于三个依次连接的组件特征提取网络提取组件特征;其中,第一个组件特征提取网络的输入与第一卷积层的输出相连接;基于三个依次连接的组件生成模块生成高分辨率组件图;其中,每个组件生成模块的输入与一个组件特征提取网络的输出相连接;利用逐像素相加合并高分辨率组件图,生成重建的高分辨率人脸图像。本发明能够有效抑制冗余特征并强调关键特征,实现高效的特征提取;根据图像组件的复杂度分而治之地重建组件并合并,能够降低高频细节的重建难度并复原高分辨率人脸图像。
-
公开(公告)号:CN117612544A
公开(公告)日:2024-02-27
申请号:CN202311460478.8
申请日:2023-11-06
Applicant: 华侨大学
IPC: G10L21/013 , G10L21/0224 , G10L21/0232 , G10L25/30 , G06N3/0442 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于深度学习模型的变调语音复原方法及系统,方法包括以下步骤:获取包含原始语音和对应的变调语音的数据集,对数据集中的语音进行语音波形到梅尔谱的转换,获得训练样本;构建变调语音复原模型,所述变调语音复原模型包括用于估计变调因子的估计模块和利用变调因子生成复原语音的复原模块;利用训练样本训练变调语音复原模型,获得训练好的变调语音复原模型;使用训练好的变调语音复原模型对输入的变调语音进行复原。本发明克服了现有技术中依赖于原始语言或对于变调方法的估计准确性不足导致复原效果不佳的缺陷,采用深度学习估计变调因子,极大增强了复原后语音的音频质量,适用场景多,实用性强。
-
公开(公告)号:CN117011299B
公开(公告)日:2024-02-20
申请号:CN202311280774.X
申请日:2023-10-07
Applicant: 华侨大学
Abstract: 本发明公开了一种融合图重采样和梯度特征的参考点云质量评估方法及系统,涉及图像处理领域,方法包括:使用基于图的关键点重采样方法,对输入的参考点云进行关键点提取;以关键点为中心划分参考点云和失真点云的局部邻域组,根据关键点与其他点在坐标空间中的欧几里德距离来聚类每个局部区域内的点;分别提取参考点云和失真点云的三维梯度幅值特征和三维梯度方向图特征,基于三维梯度幅值特征计算三维梯度幅值相似度,基于三维梯度方向图特征计算三维梯度方向图相似度,并计算出联合三维梯度特征相似度;基于联合三维梯度特征相似度,使用响应强度值进行加权池化,得到失真点云的客观质量分数。本发明具有较高的识别准确性、敏感性以及鲁棒性。
-
公开(公告)号:CN117476250A
公开(公告)日:2024-01-30
申请号:CN202311764347.9
申请日:2023-12-21
Applicant: 华侨大学
Abstract: 本发明公开了一种基于多目标跟踪的流行病调查预测方法、装置及可读介质,涉及图像处理领域,包括:获取目标场景区域的视频数据并进行目标检测以及目标跟踪,得到多目标跟踪结果;基于多目标跟踪结果构建目标场景区域中出现的人员在每个时间步所对应的接触网络;构建当前时间步所对应的传染病动力学模型,若存在感染者,则获取感染者在下个时间步的轨迹数据,根据感染者在下个时间步的轨迹数据和下个时间步的接触网络动态调整当前时间步所对应的传染病动力学模型,得到下个时间步所对应的传染病动力学模型,确定下个时间步的感染者的接触者及其轨迹数据,以解决现有模型无法精确模拟出感染者以及接触者的活动空间的问题。
-
公开(公告)号:CN117456561A
公开(公告)日:2024-01-26
申请号:CN202311779478.4
申请日:2023-12-22
Applicant: 华侨大学
IPC: G06V40/10 , G06V10/44 , G06V10/77 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N10/20 , G06N10/60
Abstract: 本发明公开一种基于部件量子学习的行人再辨识方法,涉及量子计算、人工智能领域,包括:用深度神经网络从行人图像中提取特征映射,并用自适应空间平均池化把特征映射分解为多个部件特征;用多分支通道型量子卷积网络,每个分支对应从一个部件特征上进行量子学习,获得部件量子特征;把所有部件量子特征求和并输入通道型量子卷积网络进行部件量子特征融合,获得最终的行人特征向量,用于行人再辨识。本发明利用量子叠加与纠缠特性实现行人特征学习,能提高特征学习效果,进而提升行人再辨识的准确率。
-
-
-
-
-
-
-
-
-