-
公开(公告)号：CN118379777B
公开(公告)日：2024-11-22
申请号：CN202410807403.0
申请日：2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统，涉及图像处理技术领域，方法包括：构建人脸视频生成模型，包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器，所述人脸视频生成模型接收人脸图像和语音音频，生成人脸说话视频；获取训练数据集并对人脸视频生成模型进行预训练；构建唇型同步判别器作为判别器，对预训练人脸视频生成模型进行生成对抗训练；利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模，并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度，同时兼顾视频的逼真度，使得其更加真实、自然，从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号：CN118632027B
公开(公告)日：2024-10-29
申请号：CN202411083106.2
申请日：2024-08-08
Applicant: 华侨大学
IPC: H04N19/597 , H04N19/85 , H04N19/91 , G06V10/82 , G06N3/042 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08 , G06V10/80
Abstract: 本发明公开了一种基于图卷积网络的点云压缩方法，涉及点云压缩技术领域，包括：编码器接收原始点云，利用最远点采样实现全局均匀采样，利用图卷积网络实现局部密度采样，按比例选择全局均匀采样后的点云和局部密度采样后的点云，获得下采样后的点云，再使用边缘卷积、点变压器和注意力机制分别进行动态特征学习和融合获得融合特征；熵瓶颈层对下采样后的点云和融合特征进行压缩‑解压缩获得重建点云和重建特征；解码器基于SGFN和DenseGCN对重建点云和重建特征进行特征提取，提取到的特征通过上采样和坐标重建获得重建后的点云。本发明能够在保证相同视觉质量的前提下显著降低比特率开销，提高压缩效率。
-
公开(公告)号：CN118381920B
公开(公告)日：2024-09-17
申请号：CN202410807401.1
申请日：2024-06-21
Applicant: 华侨大学
IPC: H04N19/147 , G06V10/80 , G06V10/44 , G06V10/54
Abstract: 本发明公开了一种基于联合特征的MIV沉浸式视频率失真优化方法，涉及视频编码领域，包括：计算像素的几何失真权重；将帧内划分为纹理区域与深度区域，提取纹理区域的纹理复杂度特征、纹理区域的边缘特征和深度区域的边缘特征，自适应融合纹理区域的边缘特征和深度区域的边缘特征以得到融合边缘特征；使用纹理复杂度特征与融合边缘特征组成的联合特征，计算得到纹理区域的失真度量缩放因子与深度区域的失真度量缩放因子；根据纹理区域的失真度量缩放因子、失真度量缩放因子和几何失真权重计算新拉格朗日乘子；基于新拉格朗日乘子实现沉浸式视频的率失真优化。本发明可以使得最终渲染的沉浸式视频具有更好的渲染质量与率失真性能。
-
公开(公告)号：CN118632027A
公开(公告)日：2024-09-10
申请号：CN202411083106.2
申请日：2024-08-08
Applicant: 华侨大学
IPC: H04N19/597 , H04N19/85 , H04N19/91 , G06V10/82 , G06N3/042 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08 , G06V10/80
Abstract: 本发明公开了一种基于图卷积网络的点云压缩方法，涉及点云压缩技术领域，包括：编码器接收原始点云，利用最远点采样实现全局均匀采样，利用图卷积网络实现局部密度采样，按比例选择全局均匀采样后的点云和局部密度采样后的点云，获得下采样后的点云，再使用边缘卷积、点变压器和注意力机制分别进行动态特征学习和融合获得融合特征；熵瓶颈层对下采样后的点云和融合特征进行压缩‑解压缩获得重建点云和重建特征；解码器基于SGFN和DenseGCN对重建点云和重建特征进行特征提取，提取到的特征通过上采样和坐标重建获得重建后的点云。本发明能够在保证相同视觉质量的前提下显著降低比特率开销，提高压缩效率。
-
公开(公告)号：CN118381920A
公开(公告)日：2024-07-23
申请号：CN202410807401.1
申请日：2024-06-21
Applicant: 华侨大学
IPC: H04N19/147 , G06V10/80 , G06V10/44 , G06V10/54
Abstract: 本发明公开了一种基于联合特征的MIV沉浸式视频率失真优化方法，涉及视频编码领域，包括：计算像素的几何失真权重；将帧内划分为纹理区域与深度区域，提取纹理区域的纹理复杂度特征、纹理区域的边缘特征和深度区域的边缘特征，自适应融合纹理区域的边缘特征和深度区域的边缘特征以得到融合边缘特征；使用纹理复杂度特征与融合边缘特征组成的联合特征，计算得到纹理区域的失真度量缩放因子与深度区域的失真度量缩放因子；根据纹理区域的失真度量缩放因子、失真度量缩放因子和几何失真权重计算新拉格朗日乘子；基于新拉格朗日乘子实现沉浸式视频的率失真优化。本发明可以使得最终渲染的沉浸式视频具有更好的渲染质量与率失真性能。
-
Patent Agency Ranking
公开(公告)号：CN118379777A
公开(公告)日：2024-07-23
申请号：CN202410807403.0
申请日：2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统，涉及图像处理技术领域，方法包括：构建人脸视频生成模型，包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器，所述人脸视频生成模型接收人脸图像和语音音频，生成人脸说话视频；获取训练数据集并对人脸视频生成模型进行预训练；构建唇型同步判别器作为判别器，对预训练人脸视频生成模型进行生成对抗训练；利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模，并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度，同时兼顾视频的逼真度，使得其更加真实、自然，从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号：CN117440158B
公开(公告)日：2024-04-12
申请号：CN202311759886.3
申请日：2023-12-20
Applicant: 华侨大学
IPC: H04N19/147 , H04N19/154
Abstract: 本发明公开了一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法，涉及视频编码领域，包括：S1，基于MIV编码平台编码沉浸式视频序列，生成图集后，计算与深度映射范围系数；S2，使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时，构建三维几何失真与均方误差的关系模型；S3，根据三维几何失真与均方误差的关系模型，计算三维几何失真系数；S4，根据三维几何失真系数，计算率失真优化模型中新的拉格朗日乘子，基于调整后的率失真优化模型编码当前CTU，以改善沉浸式视频渲染质量的率失真性能。本发明最终渲染的沉浸式视频质量与码率的率失真性能更好。
-
公开(公告)号：CN117456480B
公开(公告)日：2024-03-29
申请号：CN202311769679.6
申请日：2023-12-21
Applicant: 华侨大学 , 星宸科技股份有限公司
IPC: G06V20/54 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于多源信息融合的轻量化车辆再辨识方法，涉及计算机视觉与机器学习技术领域，包括：构建神经网络；所述神经网络包括依次连接的ResNet50网络、局部特征融合网络和混合注意力模块；使用监督对比损失和多源信息识别损失对神经网络进行联合训练，直至收敛，得到教师网络；选取计算量和参数量比教师网络均小的模型作为学生网络；通过知识蒸馏，对学生网络进行监督，训练直至收敛，得到轻量化的车辆再辨识模型；基于轻量化的车辆再辨识模型，输出再辨识结果。本发明利用多源信息融合的方式协调不同传感器数据以提高再辨识性能，并辅以知识蒸馏，实现在有限的计算资源下，实现高质量的再辨识，从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号：CN117422614B
公开(公告)日：2024-03-12
申请号：CN202311745925.4
申请日：2023-12-19
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T3/40 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/42 , G06V10/44
Abstract: 本发明公开了一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，涉及图像处理领域，包括：获取待重建的低分辨率图像；构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；将低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像，解决Transformer的SR方法忽略不同维度的特征之间的潜在关联性，影响重建性能的问题。
-
公开(公告)号：CN117422614A
公开(公告)日：2024-01-19
申请号：CN202311745925.4
申请日：2023-12-19
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T3/40 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/42 , G06V10/44
Abstract: 本发明公开了一种基于混合特征交互Transformer的单帧图像超分辨率方法及装置，涉及图像处理领域，包括：获取待重建的低分辨率图像；构建基于混合特征交互Transformer的单帧图像超分辨率模型并训练，得到经训练的单帧图像超分辨率模型，单帧图像超分辨率模型包括依次连接的浅层特征提取单元、深层特征提取单元和上采样重建单元，深层特征提取单元包括依次连接的P个混合特征交互Transformer模块；将低分辨率图像输入经训练的单帧图像超分辨率模型，通过浅层特征提取单元提取浅层特征，将浅层特征输入深层特征提取单元提取得到深层特征，将深层特征输入上采样重建单元，重建得到高分辨率重建图像，解决Transformer的SR方法忽略不同维度的特征之间的潜在关联性，影响重建性能的问题。
-
-
-
-
-
-
-
-
-
Search Results
20
records
(took 0.023 seconds)
