-
公开(公告)号:CN114239861A
公开(公告)日:2022-03-25
申请号:CN202111543069.5
申请日:2021-12-16
Applicant: 华侨大学
IPC: G06N20/20 , G06V10/778 , G06V10/776 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明实例公开了一种基于多教师联合指导量化的网络模型压缩方法及系统,利用模型量化降低深度神经网络的存储开销,提高推理速度;基于在线同步学习的联合训练范式,结合集成学习中对弱学习进行线性组合构建强学习的思想,由多个教师网络对学生网络进行量化感知训练,充分利用教师网络提供的量化梯度信息,以弥补量化压缩造成的性能损失;最后,再以全精度模型作为教师网络,通过离线知识蒸馏进一步训练量化学生网络,最终得到精度不逊于复杂模型的轻量级模型。本发明有效结合了模型量化、知识蒸馏以及集成学习的优势,在实现模型压缩与加速的同时也提升了模型性能。
-
公开(公告)号:CN114022697A
公开(公告)日:2022-02-08
申请号:CN202111109745.8
申请日:2021-09-18
Applicant: 华侨大学
Abstract: 本发明实例公开了一种基于多任务学习与知识蒸馏的车辆再辨识方法及系统,利用多任务学习架构使网络同时学习多个相关联任务所需的知识,从而习得表征更丰富的通用特征,提高模型的泛化能力;同时,将多任务学习训练得到的模型作为教师网络,将结构相似、参数量更少的紧凑模型作为学生网络,通过知识蒸馏,利用大型教师网络的内部层间知识对小型学生网络的训练进行监督,得到精度不逊于复杂模型的轻量化模型。本发明针对车辆再辨识的任务特点改进了网络结构与训练范式,既提升了模型性能,也对其进行了有效的压缩与加速。
-
公开(公告)号:CN120075476A
公开(公告)日:2025-05-30
申请号:CN202510541659.6
申请日:2025-04-28
Applicant: 华侨大学
IPC: H04N19/96 , H04N19/597 , H04N19/85 , G06T9/40 , G06N3/0455
Abstract: 本发明公开了一种基于多尺度八叉树注意力机制的点云压缩方法及装置,涉及图像处理领域,包括:编码器网络接收点云数据,利用降尺度特征提取器对点云进行下采样和特征提取,获得降尺度的深层特征点云,通过递归方式将其编码为八叉树,并根据八叉树节点之间的关系构建上下文窗口,引入多头注意力机制对八叉树节点进行特征融合,得到八叉树节点的占用概率,再使用算术编码将其压缩为比特流;解码器网络通过对比特流进行解压缩,获得重建后的点云,利用升尺度特征重建器对其进行上采样和特征重建,最终获得与初始点云相同分辨率的重建点云。本发明能够在保证相同点云质量的前提下,有效提高点云压缩的效率,减少比特开销。
-
公开(公告)号:CN119479047B
公开(公告)日:2025-04-29
申请号:CN202510066012.2
申请日:2025-01-16
Applicant: 华侨大学 , 厦门盈趣科技股份有限公司
IPC: G06V40/16 , G06N3/09 , G06V10/44 , G06V10/762 , G06V10/82
Abstract: 本发明涉及机器学习领域,公开了一种基于宽度学习的半监督多视图聚类集成方法及系统,方法包括以下步骤:构建一种可以依据多视图人脸图像数据进行特征处理的基于宽度学习的自编码器,用于对输入的人脸图像进行特征提取,并基于宽度学习计算不同节点特征的权重;结合基于宽度学习的自编码器和双向约束传播构建聚类集成模型;利用聚类集成模型实现多视图人脸图像的聚类集成。本发明利用宽度学习系统的性能优势进行多视图数据的聚类处理,得到兼具效率与性能的模型网络,引入了流型结构和成对约束,并且在共识过程中采用了约束传播,丰富样本信息,有效提升基于宽度学习的聚类集成网络模型的鲁棒性和准确性,因而在实际场景中更具适用性。
-
公开(公告)号:CN119444804B
公开(公告)日:2025-04-29
申请号:CN202510037837.1
申请日:2025-01-10
Applicant: 华侨大学
Abstract: 本发明涉及图像处理技术领域,提出了一种基于动态自适应和强化特征的多目标跟踪分割方法及系统,方法包括前处理步骤、外观代价计算步骤、预匹配步骤、运动代价计算步骤、正式匹配步骤、后处理步骤、重复步骤和可视化步骤。该方法通过具有动态自适应的数据关联对目标特征进行细化整合,以及利用基于掩码的注意力机制和基于四三角形变的掩码预测分别强化目标外观特征和运动信息,以能够在保持高跟踪精度的同时,实现快速运算和低成本运行,适用于更广泛的应用场景。
-
公开(公告)号:CN119863744A
公开(公告)日:2025-04-22
申请号:CN202510346077.2
申请日:2025-03-24
Applicant: 华侨大学
Abstract: 本发明一种基于六自由度信息引导的沉浸式视频质量评价方法及装置,涉及计算机视觉领域,方法包括:构建基于六自由度信息引导的沉浸式视频质量评价模型并训练,得到经训练的评价模型;从沉浸式视频提取纹理视频块、纹理关键帧和深度关键帧;将纹理视频块、纹理关键帧和深度关键帧输入经训练的评价模型,通过视觉信息编码模块提取到对应的视觉特征;将视觉特征输入时空映射模块得到时间视觉标记和空间视觉标记;通过语言编码器对指令信息和六自由度视点位置信息进行编码,得到文本指令标记和视点位置标记;将各标记进行组合得到组合标记,将组合标记输入语音解码器中,得到沉浸式视频质量分数。本发明能够准确客观评估沉浸式视频的质量。
-
公开(公告)号:CN119848794A
公开(公告)日:2025-04-18
申请号:CN202510340474.9
申请日:2025-03-21
Applicant: 华侨大学
IPC: G06F18/25 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/0499 , G06N3/082 , G06F18/213 , G06F18/2413 , G06F18/2415
Abstract: 本发明公开了一种基于分层交互对齐网络的多模态情感识别方法及装置,涉及数据处理领域,包括:构建多模态情感识别模型并利用层次表示分布对齐层对齐进行训练,得到经训练的多模态情感识别模型;获取目标域人群中的其中一个待识别人员的脑电数据与眼动数据对并输入到经训练的多模态情感识别模型,依次经过特征提取模块和分层自适应交互注意力模块,得到待识别人员对应的最终跨模态特征,待识别人员对应的最终跨模态特征和目标域数据对应的最终跨模态特征输入到少样本学习模块,得到待识别人员属于每个情感类别的概率值,选择概率值最大所对应的情感类别作为待识别人员的预测情感类别。本发明解决多模态情感识别中个体差异大、样本数量有限的问题。
-
公开(公告)号:CN119832929A
公开(公告)日:2025-04-15
申请号:CN202510311256.2
申请日:2025-03-17
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
IPC: G10L21/10 , G10L25/24 , G06V40/16 , G06N3/045 , G06N3/0455 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06V10/44 , G06V10/54
Abstract: 一种基于深度感知融合的语音驱动人脸视频生成方法及装置,涉及计算机视觉与图像处理领域,方法包括:S1,获取具有音频片段和参考图像的人脸说话视频数据集,对数据集进行预处理后,分为训练数据集和测试数据集;S2,构建人脸视频生成模型;包括音频编码器、图像编码器、深度编码器、交叉参考模块和跨模态注意力模块;S3,使用训练数据集合训练人脸视频生成模型,得到训练好的人脸视频生成模型;S4,将测试数据集输入训练好的人脸视频生成模型,输出生成的结合音频和视频的人脸视频。本发明通过在人脸视频生成模型中引入交叉参考模块和跨模态注意力模块,有效地在提高了人脸视频的面部结构准确度的同时兼顾了运动的细粒度细节。
-
公开(公告)号:CN119339084B
公开(公告)日:2025-03-25
申请号:CN202411836240.5
申请日:2024-12-13
Applicant: 华侨大学 , 泉州圣源警用侦察设备有限公司
IPC: G06V10/26 , G06V10/764
Abstract: 本发明公开了一种基于区块类别编码的电缆图像分割方法及装置,涉及图像处理领域,包括:构建电缆图像分割模型和区块编码模块,将电缆分割训练数据中的图像数据输入到语义分割编码器,得到区块特征,将区块特征输入到语义分割解码器,得到语义类别概率,基于语义类别概率和语义类别标签构建语义分割损失函数,将语义类别标签输入到区块编码模块,得到区块类别标签,基于语义类别概率和区块类别标签构建相关性匹配损失函数,并计算得到总损失函数,基于总损失函数对电缆图像分割模型进行训练,得到经训练的电缆图像分割模型;利用经训练的电缆图像分割模型进行图像分割。本发明解决目前电缆图像分割技术中分割不完整、准确率低的问题。
-
公开(公告)号:CN119513631A
公开(公告)日:2025-02-25
申请号:CN202510072725.X
申请日:2025-01-17
Applicant: 华侨大学 , 厦门盈趣科技股份有限公司
IPC: G06F18/23 , G16B40/00 , G06N3/0455 , G06F18/23213
Abstract: 肺炎病毒基因数据多视图聚类集成方法、装置和电子设备,包括:构造具有宽度学习网络和全局子空间结构的宽度自编码器;对宽度自编码器进行训练,确定宽度自编码器的模型参数,将多视图的肺炎基因数据输入训练后的宽度自编码器后输出压缩特征子空间;将压缩特征子空间聚类得到多个基本分区作为集成池的集成成员;将基本分区变换为模糊划分矩阵,基于集成池构造无向二分图,无向二分图的节点之间的连接权对应于模糊划分矩阵中的值;将无向二分图切割成几个不相交的子图,根据每个子图的样本节点得到多视图的肺炎基因数据的聚类集成结果。本发明显著减少参数量和计算资源,高效完成肺炎基因数据的多视图聚类分析。
-
-
-
-
-
-
-
-
-