公开(公告)号：CN119863744A

公开(公告)日：2025-04-22

申请号：CN202510346077.2

申请日：2025-03-24

Applicant: 华侨大学

Inventor： 曾焕强 ,  赖伊琳 ,  朱建清 ,  陈婧 ,  施一帆 ,  蔡磊 ,  龚鑫荣 ,  林琦 ,  郑惠洁

IPC: G06V20/40 ,  G06V10/26 ,  G06V10/40 ,  G06V10/54 ,  G06V10/82 ,  G10L19/16

Abstract: 本发明一种基于六自由度信息引导的沉浸式视频质量评价方法及装置，涉及计算机视觉领域，方法包括：构建基于六自由度信息引导的沉浸式视频质量评价模型并训练，得到经训练的评价模型；从沉浸式视频提取纹理视频块、纹理关键帧和深度关键帧；将纹理视频块、纹理关键帧和深度关键帧输入经训练的评价模型，通过视觉信息编码模块提取到对应的视觉特征；将视觉特征输入时空映射模块得到时间视觉标记和空间视觉标记；通过语言编码器对指令信息和六自由度视点位置信息进行编码，得到文本指令标记和视点位置标记；将各标记进行组合得到组合标记，将组合标记输入语音解码器中，得到沉浸式视频质量分数。本发明能够准确客观评估沉浸式视频的质量。

公开(公告)号：CN119848794A

公开(公告)日：2025-04-18

申请号：CN202510340474.9

申请日：2025-03-21

Applicant: 华侨大学

Inventor： 龚鑫荣 ,  付远康 ,  杨楷翔 ,  施一帆 ,  曾焕强 ,  林琦 ,  朱建清

IPC: G06F18/25 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/082 ,  G06F18/213 ,  G06F18/2413 ,  G06F18/2415

Abstract: 本发明公开了一种基于分层交互对齐网络的多模态情感识别方法及装置，涉及数据处理领域，包括：构建多模态情感识别模型并利用层次表示分布对齐层对齐进行训练，得到经训练的多模态情感识别模型；获取目标域人群中的其中一个待识别人员的脑电数据与眼动数据对并输入到经训练的多模态情感识别模型，依次经过特征提取模块和分层自适应交互注意力模块，得到待识别人员对应的最终跨模态特征，待识别人员对应的最终跨模态特征和目标域数据对应的最终跨模态特征输入到少样本学习模块，得到待识别人员属于每个情感类别的概率值，选择概率值最大所对应的情感类别作为待识别人员的预测情感类别。本发明解决多模态情感识别中个体差异大、样本数量有限的问题。

公开(公告)号：CN119299671B

公开(公告)日：2025-02-21

申请号：CN202411815010.0

申请日：2024-12-11

Applicant: 华侨大学

Inventor： 陈婧 ,  曾家鑫 ,  曾焕强 ,  朱建清 ,  林琦 ,  郑惠洁

IPC: H04N19/103 ,  H04N19/96 ,  H04N19/119 ,  H04N19/126 ,  H04N19/127 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于多阶段不规则编码单元划分的VVC‑SCC帧内编码方法及装置，涉及视频编码领域，包括：设计并训练基于多阶段卷积神经网络的编码单元划分预测模型；其次将输入的视频帧通过经训练的编码单元划分预测模型进行编码单元划分预测模型预测，输出当前帧所有CU的模式类型的预测概率；最后为不同的模式类别设置不同的阈值，根据预测概率和对应的阈值指导VVC‑SCC编码器进行编码，从而跳过不必要的模式类别的遍历。本发明解决现有的VVC‑SCC帧内编码方法编码时间长、编码器计算的复杂度高的问题。

公开(公告)号：CN119316609A

公开(公告)日：2025-01-14

申请号：CN202411837846.0

申请日：2024-12-13

Applicant: 华侨大学

Inventor： 陈婧 ,  赵泉旭 ,  曾焕强 ,  林琦 ,  郑惠洁

IPC: H04N19/53 ,  G06N3/0464 ,  H04N19/80

Abstract: 本发明公开了一种基于自注意力机制的端到端视频压缩方法及系统，涉及视频编码领域，方法包括：提取当前帧、运动参考帧和上一时刻的重构帧的浅层特征；提取当前帧和运动参考帧之间的运动信息特征；压缩运动信息特征，获得压缩后的运动信息特征；将压缩后的运动信息特征补偿在上一时刻的重构帧的浅层特征上，获得当前时刻的上下文信息特征；压缩获得压缩后的上下文信息特征；将压缩后的上下文信息特征和当前帧的浅层特征融合特征进行编码，获得当前时刻的重构帧；对当前时刻的重构帧进行上采样，获得压缩视点图像；对压缩视点图像中的运动信息累积误差进行修正，得到下一帧的运动参考帧。本发明能够在提高运动估计的准确性的同时提升了编码的效率。

公开(公告)号：CN118865075A

公开(公告)日：2024-10-29

申请号：CN202411319739.9

申请日：2024-09-23

Applicant: 华侨大学

Inventor： 曾焕强 ,  刘智鸿 ,  陈婧 ,  朱建清 ,  施一帆 ,  蔡磊 ,  林琦 ,  郑惠洁 ,  龚鑫荣 ,  侯军辉

IPC: G06V10/98 ,  G06N3/043 ,  G06N3/0464 ,  G06V10/776 ,  G06V10/82

Abstract: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置，涉及视频评价领域，包括：提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型，每个关键帧输入显著性计算模块筛选出若干个显著视频块，每个显著视频块输入双通道卷积神经网络，得到每个阶段的多层特征并输入块级质量评估模块，经过空间门特征增强模块，得到每个阶段的增强特征并输入块级质量聚合模块，得到每个视频块的块级质量分数；采用自适应加权策略计算得到空域感知质量分数；碎片化视频输入时域感知质量评估支路，得到时域感知质量分数，两者结合计算得到屏幕内容视频的质量分数，解决现有视频质量评价方法可靠性差的问题。

公开(公告)号：CN118469876B

公开(公告)日：2024-10-01

申请号：CN202410912771.1

申请日：2024-07-09

Applicant: 华侨大学

Inventor： 陈婧 ,  左雨亭 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦 ,  郑惠洁

IPC: G06T5/77 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08 ,  G06T5/60

Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统，涉及视频处理技术领域，方法包括以下步骤：特征提取模块接收待修复的缺损视频帧序列，采用卷积神经网络对视频帧进行特征提取，输出第一特征；强感知Transformer模块接收第一特征，采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模，输出第二特征；重构模块接收第二特征，采用反卷积层进行视频帧重建，输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模，有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题，实现更好的修复效果。

公开(公告)号：CN116462779B

公开(公告)日：2024-08-27

申请号：CN202310532347.X

申请日：2023-05-12

Applicant: 华侨大学

Inventor： 张秘 ,  周科成 ,  林琦 ,  何楚琪 ,  肖美添 ,  叶静 ,  杨宇成 ,  张娜

IPC: C08B37/00

Abstract: 本发明公开了一种羟丙基卡拉胶的制备方法，包括如下步骤：(1)将NaOH溶解于乙醇水溶液中，然后加入κ‑卡拉胶进行碱化处理，获得浑浊液；(2)在上述浑浊液中加入环氧丙烷反应，接着冷却至室温后，用乙酸溶液调节pH；(3)将步骤(2)所得浑浊液进行抽滤，获得滤饼，接着将该滤饼用乙醇水溶液进行洗涤和干燥，粉粹即得所述羟丙基卡拉胶。本发明采用非均相反应体系，在反应过程中卡拉胶不溶解，一直保持颗粒形状，后续干燥后便可以得到成品，在反应过程中不需要调控pH，制备工艺不但简单快捷，节约成本，也极大地提高了产品的产率；制得的羟丙基卡拉胶的溶解温度和凝胶强度明显下降，透明度上升，融化温度有明显改变，更加利于工业应用。

公开(公告)号：CN118521876A

公开(公告)日：2024-08-20

申请号：CN202410978491.0

申请日：2024-07-22

Applicant: 华侨大学 ,  杭州电子科技大学 ,  厦门亿联网络技术股份有限公司

Inventor： 曾焕强 ,  柯雯瑶 ,  蔡磊 ,  林琦 ,  郑惠洁 ,  曹九稳 ,  杨慰民 ,  廖昀 ,  夏至贤

IPC: G06V10/98 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/40 ,  G06V10/54 ,  G06V10/74 ,  G06V10/776 ,  G06V10/82 ,  G06V20/40

Abstract: 本发明公开了一种基于相似性度量的沉浸式视频质量评价方法及装置，涉及视频处理领域，为了尽可能地解决视频中所存在的冗余信息问题，首先采用随机抽样的方式筛选视频帧；然后考虑到卷积神经网络能够很好地模拟人类视觉感知过程充分捕捉从低层次到高层次的视觉信息进而提取纹理和结构特征，采用预训练的ResNet50模型进行特征提取；并考虑到人类的视觉感知系统在观看视频时不仅会受视频内容的影响还会受到记忆时间的影响，利用一个受主观启发的时间池化策略得到纹理和深度视频的质量分数；最后根据人眼视觉的偏好对纹理和深度视频质量评分进行权重调整得到最终的沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果。

公开(公告)号：CN117237259A

公开(公告)日：2023-12-15

申请号：CN202311510614.X

申请日：2023-11-14

Applicant: 华侨大学

Inventor： 陈婧 ,  陈柯米 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦

IPC: G06T5/50 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06V10/54 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置，涉及图像处理领域，该方法包括：获取图像帧及其对应的光流图和纹理图并分别进行特征提取，得到图像特征、光流特征和纹理特征；构建压缩视频质量增强模型并训练，得到经训练的压缩视频质量增强模型；将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型，图像特征、光流特征和纹理特征输入多模态一致性单元，自适应调整三种模态信息的分布，得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合，得到融合特征并输入多模态重构单元，得到重构信息，将重构信息与图像帧相加，得到增强的视频帧，解决单模态图像难以有效改善最终重建视频的质量的问题。

公开(公告)号：CN116600107B

公开(公告)日：2023-11-21

申请号：CN202310893891.7

申请日：2023-07-20

Applicant: 华侨大学

Inventor： 陈婧 ,  李志鸿 ,  曾焕强 ,  林琦 ,  朱建清

IPC: H04N19/103 ,  H04N19/119 ,  H04N19/124 ,  G06N3/0464 ,  G06T9/00