一种基于强感知Transformer架构的缺损视频修复方法及系统

    公开(公告)号:CN118469876B

    公开(公告)日:2024-10-01

    申请号:CN202410912771.1

    申请日:2024-07-09

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统,涉及视频处理技术领域,方法包括以下步骤:特征提取模块接收待修复的缺损视频帧序列,采用卷积神经网络对视频帧进行特征提取,输出第一特征;强感知Transformer模块接收第一特征,采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模,输出第二特征;重构模块接收第二特征,采用反卷积层进行视频帧重建,输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模,有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题,实现更好的修复效果。

    一种羟丙基卡拉胶的制备方法

    公开(公告)号:CN116462779B

    公开(公告)日:2024-08-27

    申请号:CN202310532347.X

    申请日:2023-05-12

    Applicant: 华侨大学

    Abstract: 本发明公开了一种羟丙基卡拉胶的制备方法,包括如下步骤:(1)将NaOH溶解于乙醇水溶液中,然后加入κ‑卡拉胶进行碱化处理,获得浑浊液;(2)在上述浑浊液中加入环氧丙烷反应,接着冷却至室温后,用乙酸溶液调节pH;(3)将步骤(2)所得浑浊液进行抽滤,获得滤饼,接着将该滤饼用乙醇水溶液进行洗涤和干燥,粉粹即得所述羟丙基卡拉胶。本发明采用非均相反应体系,在反应过程中卡拉胶不溶解,一直保持颗粒形状,后续干燥后便可以得到成品,在反应过程中不需要调控pH,制备工艺不但简单快捷,节约成本,也极大地提高了产品的产率;制得的羟丙基卡拉胶的溶解温度和凝胶强度明显下降,透明度上升,融化温度有明显改变,更加利于工业应用。

    基于多模态融合的压缩视频质量增强方法及装置

    公开(公告)号:CN117237259A

    公开(公告)日:2023-12-15

    申请号:CN202311510614.X

    申请日:2023-11-14

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置,涉及图像处理领域,该方法包括:获取图像帧及其对应的光流图和纹理图并分别进行特征提取,得到图像特征、光流特征和纹理特征;构建压缩视频质量增强模型并训练,得到经训练的压缩视频质量增强模型;将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型,图像特征、光流特征和纹理特征输入多模态一致性单元,自适应调整三种模态信息的分布,得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合,得到融合特征并输入多模态重构单元,得到重构信息,将重构信息与图像帧相加,得到增强的视频帧,解决单模态图像难以有效改善最终重建视频的质量的问题。

    基于动态排序优化的图文检索深度神经网络模型训练方法

    公开(公告)号:CN117010458A

    公开(公告)日:2023-11-07

    申请号:CN202311287656.1

    申请日:2023-10-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于动态排序优化的图文检索深度神经网络模型训练方法,涉及信息检索技术领域,包括:构建深度神经网络用于图像与文本数据的深度特征提取;基于输入的图文实例对的标签与特征信息,计算实例间的标签层级相似度矩阵、特征层级相似度矩阵以及不同实例之间的亲和矩阵;通过构建融合语义相似度损失、排序损失以及哈希量化损失的综合损失函数,采用梯度下降优化算法缩小所述损失值,得到训练好的深度神经网络模型。本发明在模型训练过程中动态地调整梯度优化强度,提高了训练速度和精度,通过训练好的深度神经网络模型实现跨模态检索精度的提升。

    基于IPMS-CNN和空域相邻CU编码模式的HEVC-SCC快速编码方法及装置

    公开(公告)号:CN116600107A

    公开(公告)日:2023-08-15

    申请号:CN202310893891.7

    申请日:2023-07-20

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于IPMS‑CNN和空域相邻CU编码模式的HEVC‑SCC快速编码方法及装置,将卷积神经网络预测大尺寸CU模式的方法与基于空间相邻CU所采用模式数量预测小尺寸CU模式的方法相结合,旨在保持编码质量的同时减少编码时间,降低计算复杂度,方法首先搭建数据库,训练IBC/PLT模式选择的卷积神经网络模型;其次将输入的CTU通过模式选择网络,输出CTU的模式预测标签;最后通过统计相邻3个CU所使用的模式数量来预测当前CU选择的模式。本发明能够节省编码时间,降低屏幕内容视频的计算复杂度。

    基于空间下采样的多描述编码高质量边重建方法

    公开(公告)号:CN111510721A

    公开(公告)日:2020-08-07

    申请号:CN202010278978.X

    申请日:2020-04-10

    Applicant: 华侨大学

    Abstract: 本发明提供了一种基于空间下采样的多描述编码高质量边重建方法,包括,制作数据集:选取视频,通过空间下采样分成两个描述,在量化参数QP值设定下,编码,解码,将解码后的视频和相应的原始视频作为训练集;训练SD-VSRnet网络:每五帧视频作为网络的输入,依次进行特征提取,恢复高频细节,像素重排,再与输入的中间帧进行跳跃连接得到重建的视频帧,逐帧重建获得最后的重建视频,实现SD-VSRnet网络的训练。本发明提出的方法制作了适用于空间下采样的多描述编码高质量边重建的数据集,另外,采用视频超分辨率的神经网络,分别测试4种QP值,可以有效提高不同压缩程度的边缘解码视频重建质量。

    基于自注意力机制的端到端视频压缩方法及系统

    公开(公告)号:CN119316609B

    公开(公告)日:2025-02-25

    申请号:CN202411837846.0

    申请日:2024-12-13

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于自注意力机制的端到端视频压缩方法及系统,涉及视频编码领域,方法包括:提取当前帧、运动参考帧和上一时刻的重构帧的浅层特征;提取当前帧和运动参考帧之间的运动信息特征;压缩运动信息特征,获得压缩后的运动信息特征;将压缩后的运动信息特征补偿在上一时刻的重构帧的浅层特征上,获得当前时刻的上下文信息特征;压缩获得压缩后的上下文信息特征;将压缩后的上下文信息特征和当前帧的浅层特征融合特征进行编码,获得当前时刻的重构帧;对当前时刻的重构帧进行上采样,获得压缩视点图像;对压缩视点图像中的运动信息累积误差进行修正,得到下一帧的运动参考帧。本发明能够在提高运动估计的准确性的同时提升了编码的效率。

Patent Agency Ranking