公开(公告)号：CN119832929A

公开(公告)日：2025-04-15

申请号：CN202510311256.2

申请日：2025-03-17

Applicant: 华侨大学 ,  信泰(福建)科技有限公司 ,  福建省万物智联科技有限公司

Inventor： 曾焕强 ,  郑航杰 ,  温廷羲 ,  朱建清 ,  施一帆 ,  许金泰 ,  许剑飞 ,  章水德 ,  杨慰民

IPC: G10L21/10 ,  G10L25/24 ,  G06V40/16 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06V10/44 ,  G06V10/54

Abstract: 一种基于深度感知融合的语音驱动人脸视频生成方法及装置，涉及计算机视觉与图像处理领域，方法包括：S1，获取具有音频片段和参考图像的人脸说话视频数据集，对数据集进行预处理后，分为训练数据集和测试数据集；S2，构建人脸视频生成模型；包括音频编码器、图像编码器、深度编码器、交叉参考模块和跨模态注意力模块；S3，使用训练数据集合训练人脸视频生成模型，得到训练好的人脸视频生成模型；S4，将测试数据集输入训练好的人脸视频生成模型，输出生成的结合音频和视频的人脸视频。本发明通过在人脸视频生成模型中引入交叉参考模块和跨模态注意力模块，有效地在提高了人脸视频的面部结构准确度的同时兼顾了运动的细粒度细节。

公开(公告)号：CN118552409B

公开(公告)日：2024-11-05

申请号：CN202411017310.4

申请日：2024-07-29

Applicant: 华侨大学 ,  信泰(福建)科技有限公司 ,  福建省万物智联科技有限公司

Inventor： 曾焕强 ,  朱显丞 ,  朱建清 ,  施一帆 ,  温廷羲 ,  许金泰 ,  许剑飞 ,  章水德 ,  杨慰民

IPC: G06T3/4053 ,  G06N3/0455 ,  G06N3/08 ,  G06T5/60

Abstract: 本发明公开了一种基于小波变换和Transformer的轻量级图像超分辨率方法及装置，涉及图像处理领域，包括：将待重建的低分辨率图像和上采样因子输入经训练的图像超分辨率模型，待重建的低分辨率图像输入第一卷积层，得到第一卷积层的输出特征并输入第一个基于小波变换的Transformer模块，经过若干个基于小波变换的Transformer模块的特征提取，将最后一个基于小波变换的Transformer模块的输出特征与第一卷积层的输出特征相加，得到第二相加结果，第二相加结果依次经过亚像素卷积层和第二卷积层，得到高分辨率重建图像，其中亚像素卷积层的尺度因子为上采样因子。本发明可解决现有Transformer方法计算复杂度过高的问题。

公开(公告)号：CN118521876A

公开(公告)日：2024-08-20

申请号：CN202410978491.0

申请日：2024-07-22

Applicant: 华侨大学 ,  杭州电子科技大学 ,  厦门亿联网络技术股份有限公司

Inventor： 曾焕强 ,  柯雯瑶 ,  蔡磊 ,  林琦 ,  郑惠洁 ,  曹九稳 ,  杨慰民 ,  廖昀 ,  夏至贤

IPC: G06V10/98 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/40 ,  G06V10/54 ,  G06V10/74 ,  G06V10/776 ,  G06V10/82 ,  G06V20/40

Abstract: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置，涉及视频处理领域，为了尽可能地解决视频中所存在的冗余信息问题，首先采用随机抽样的方式筛选视频帧；然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征，采用预训练的ResNet50模型进行特征提取；并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响，利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数；最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。