-
公开(公告)号:CN118864287A
公开(公告)日:2024-10-29
申请号:CN202411319738.4
申请日:2024-09-23
Applicant: 华侨大学
Abstract: 本发明公开了一种渐进式单幅图像雨雪去除方法、装置及可读介质,涉及图像处理领域,包括:构建基于循环密集网络的图像雨雪去除模型并训练,得到经训练的图像雨雪去除模型,图像雨雪去除模型包括堆叠设置的若干个内外密集连接子网络,每个内外密集连接子网络包括堆叠设置的若干个内外密集连接块,每个内外密集连接块包括依次连接的长短期记忆模块、第一卷积层、通道注意力模块和第二卷积层;将退化图像输入经训练的图像雨雪去除模型,当前阶段的内外密集连接子网络输出的恢复估计与退化图像输入下一阶段的内外密集连接子网络中,最后一个阶段的内外密集连接子网络输出恢复图像。本发明解决目前渐进式雨雪去除方法所恢复图像中存在的伪影问题。
-
公开(公告)号:CN118521876B
公开(公告)日:2024-10-22
申请号:CN202410978491.0
申请日:2024-07-22
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06V10/40 , G06V10/54 , G06V10/74 , G06V10/776 , G06V10/82 , G06V20/40
Abstract: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置,涉及视频处理领域,为了尽可能地解决视频中所存在的冗余信息问题,首先采用随机抽样的方式筛选视频帧;然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征,采用预训练的ResNet50模型进行特征提取;并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响,利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数;最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。
-
公开(公告)号:CN118609034B
公开(公告)日:2024-10-15
申请号:CN202411080625.3
申请日:2024-08-08
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于帧级时间聚合策略的沉浸式视频质量评价方法及装置,涉及视频处理领域,方法包括:通过帧抽样策略去除视频冗余信息,采用卷积网络对沉浸式视频(即多视点纹理加深度视频)不同区域进行多尺度特征提取;接着使用注意力模型对特征进行加权,通过帧级时间聚合策略自适应地筛选沿时间维度的质量分数;最终结合六自由度(Degree of Freedom,DoF)时空轨迹权重获取失真沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果,稳定性和鲁棒性高。
-
公开(公告)号:CN118334711B
公开(公告)日:2024-08-27
申请号:CN202410757573.2
申请日:2024-06-13
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06V40/10 , G06N3/0455 , G06N3/0464 , G06T7/70 , G06V10/26 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种基于服装描述生成的行人性别与年龄识别方法及装置,涉及图像识别领域,包括:构建行人性别与年龄识别模型,通过线性映射层和前a层Transformer块将行人图像处理为识别特征和图像特征,利用人体部位检测模型获取行人图像中的人体部位的位置,并裁剪出各个人体部位图像,利用图像字幕生成模型生成各个人体部位图像对应的服装文字描述,并利用词嵌入模型将服装文字描述映射为服装文字描述向量,将服装文字描述向量输入特征提取模块,提取得到对应的向量特征,将所有向量特征拼接后再连接至识别特征和图像特征后,并依次经过后b层Transformer块、第一全连接层和Softmax函数层,得到识别结果,解决性别与年龄识别技术受观察角度与环境等因素影响较大的问题。
-
公开(公告)号:CN118101938B
公开(公告)日:2024-06-25
申请号:CN202410497734.9
申请日:2024-04-24
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/154
Abstract: 本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置,涉及视频编码领域,方法包括:使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI;使用斯塔克尔伯格模型对ROI的失真进行建模,并采用二分法求解ROI的目标比特;计算编码图像的JND图作为空域视觉敏感度,对8x8互不重叠的子块进行运动估计,得到时域视觉敏感度;将有约束问题转化为无约束问题,并采用KKT条件进行最优化求解,得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长,人眼对ROI区域重点关注,提取空时域感知敏感度,对ROI和nROI的比特分配问题分别建模并进行最优化求解,合理进行比特分配。
-
公开(公告)号:CN111160226B
公开(公告)日:2023-03-31
申请号:CN201911370041.9
申请日:2019-12-26
Applicant: 华侨大学
IPC: G06V40/10 , G06V10/764 , G06V10/82 , G06V10/77 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明涉及一种基于视角自适应特征学习的行人性别识别方法包括:视角自适应训练过程,性别识别过程。本发明利用输入行人的视角信息来指导卷积神经网络的特征学习过程,以减轻行人视角变化对神经网络进行性别识别的影响,使训练得到的网络模型具有更加准确的行人性别识别效果。本发明结合了行人的视角信息,解决了以往基于卷积神经网络用在行人性别识别问题上的不足,有效地提高了行人性别识别精度。本发明可以被广泛地应用在智能视频监控场景,例如大型商场,机场,火车站等。
-
公开(公告)号:CN111160226A
公开(公告)日:2020-05-15
申请号:CN201911370041.9
申请日:2019-12-26
Applicant: 华侨大学
Abstract: 本发明涉及一种基于视角自适应特征学习的行人性别识别方法包括:视角自适应训练过程,性别识别过程。本发明利用输入行人的视角信息来指导卷积神经网络的特征学习过程,以减轻行人视角变化对神经网络进行性别识别的影响,使训练得到的网络模型具有更加准确的行人性别识别效果。本发明结合了行人的视角信息,解决了以往基于卷积神经网络用在行人性别识别问题上的不足,有效地提高了行人性别识别精度。本发明可以被广泛地应用在智能视频监控场景,例如大型商场,机场,火车站等。
-
公开(公告)号:CN119152215B
公开(公告)日:2025-02-25
申请号:CN202411667235.6
申请日:2024-11-21
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于梯度显著性感知的皱纹分割方法、装置及可读介质,涉及图像处理领域,包括:构建人脸皱纹数据集和人脸皱纹分割网络;将人脸皱纹数据集中的原始人脸图像输入到人脸皱纹分割网络,得到对应的皱纹分割预测图,计算原始人脸图像中的每个像素点的显著性,进一步计算得到原始人脸图像中的每个像素点的权重,基于原始人脸图像中的每个像素点的像素值及其权重和原始人脸图像对应的皱纹标注掩码图中的相应像素点的像素值构建梯度显著性加权损失函数,基于梯度显著性加权损失函数对人脸皱纹分割网络进行训练,得到经训练的人脸皱纹分割网络。本发明解决现有技术的人脸图像中皱纹被过度分割或错误分割的问题。
-
公开(公告)号:CN118865075B
公开(公告)日:2024-12-03
申请号:CN202411319739.9
申请日:2024-09-23
Applicant: 华侨大学
IPC: G06V10/98 , G06N3/043 , G06N3/0464 , G06V10/776 , G06V10/82
Abstract: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置,涉及视频评价领域,包括:提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型,每个关键帧输入显著性计算模块筛选出若干个显著视频块,每个显著视频块输入双通道卷积神经网络,得到每个阶段的多层特征并输入块级质量评估模块,经过空间门特征增强模块,得到每个阶段的增强特征并输入块级质量聚合模块,得到每个视频块的块级质量分数;采用自适应加权策略计算得到空域感知质量分数;碎片化视频输入时域感知质量评估支路,得到时域感知质量分数,两者结合计算得到屏幕内容视频的质量分数,解决现有视频质量评价方法可靠性差的问题。
-
公开(公告)号:CN118379777B
公开(公告)日:2024-11-22
申请号:CN202410807403.0
申请日:2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统,涉及图像处理技术领域,方法包括:构建人脸视频生成模型,包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器,所述人脸视频生成模型接收人脸图像和语音音频,生成人脸说话视频;获取训练数据集并对人脸视频生成模型进行预训练;构建唇型同步判别器作为判别器,对预训练人脸视频生成模型进行生成对抗训练;利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模,并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度,同时兼顾视频的逼真度,使得其更加真实、自然,从而为各种应用场景提供了更多的灵活性。
-
-
-
-
-
-
-
-
-