公开(公告)号：CN119992285A

公开(公告)日：2025-05-13

申请号：CN202510085624.6

申请日：2025-01-20

Applicant: 中国矿业大学

Inventor： 王浩宇 ,  乔振壮 ,  刘晓敏 ,  张威 ,  孙程远 ,  杨博文 ,  杜明珠 ,  赵文博 ,  王兆杰

IPC: G06V10/82 ,  G06V10/764 ,  G06V20/10 ,  G06N5/04 ,  G06N3/0985

Abstract: 本申请公开了基于测试时训练的高光谱单源领域泛化方法和存储介质，对原始高光谱图像数据域随机化构建多个虚拟源域；对齐虚拟源域的Hessian矩阵学习域不变知识，据此确定损失函数并训练元源模型。元目标适应时，依据虚拟目标域样本及近邻伪标签，经变分后验推理得对虚拟目标域的观测动态推断模型最大后验概率值。元目标测试中，基于最大后验概率值约束，最大化虚拟目标域样本与真实标签对数似然以优化元源模型，推导元目标损失确定更新规则，在虚拟目标域评估并指导优化。元目标测试阶段，为测试目标域样本分配近邻伪标签，得出实际目标域样本预测类别。本申请在目标域数据源域训练期间不可访问的条件下提升模型的跨域泛化能力。

公开(公告)号：CN119360243B

公开(公告)日：2025-05-02

申请号：CN202411395067.X

申请日：2024-10-08

Applicant: 中国矿业大学

Inventor： 王浩宇 ,  刘晓敏 ,  张威 ,  王兆杰 ,  王雪松 ,  程玉虎 ,  乔振壮 ,  殷豪杰 ,  曲世元

IPC: G06V20/17 ,  G06V10/25 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/0475

Abstract: 本发明属于计算机视觉技术领域，公开了一种基于场景语言感知引导的多模态无人机目标检测框架。首先，将视觉‑语言预训练模型嵌入多模态目标检测框架中，提出了场景语言感知模块，利用视觉‑语言预训练模型为模型提供场景智能感知和理解能力。其次，通过条件参数生成模块根据当前场景和目标特征动态生成融合参数，通过为不同目标定制个性化的融合模式提升模型对场景变化的适应能力。最后，设计了多模态动态解码器，建立了动态对称融合机制，通过动态挖掘多模态数据间的复杂互补关联实现多模态特征融合，并根据当前场景实时调整不同模态的重要性，将DETR的解码机制从单模态扩展到多模态，为多模态无人机目标检测提供了无需先验框的新范式。

公开(公告)号：CN119360243A

公开(公告)日：2025-01-24

申请号：CN202411395067.X

申请日：2024-10-08

Applicant: 中国矿业大学

Inventor： 王浩宇 ,  刘晓敏 ,  张威 ,  王兆杰 ,  王雪松 ,  程玉虎 ,  乔振壮 ,  殷豪杰 ,  曲世元

IPC: G06V20/17 ,  G06V10/25 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0455 ,  G06N3/0475

Abstract: 本发明属于计算机视觉技术领域，公开了一种基于场景语言感知引导的多模态无人机目标检测框架。首先，将视觉‑语言预训练模型嵌入多模态目标检测框架中，提出了场景语言感知模块，利用视觉‑语言预训练模型为模型提供场景智能感知和理解能力。其次，通过条件参数生成模块根据当前场景和目标特征动态生成融合参数，通过为不同目标定制个性化的融合模式提升模型对场景变化的适应能力。最后，设计了多模态动态解码器，建立了动态对称融合机制，通过动态挖掘多模态数据间的复杂互补关联实现多模态特征融合，并根据当前场景实时调整不同模态的重要性，将DETR的解码机制从单模态扩展到多模态，为多模态无人机目标检测提供了无需先验框的新范式。

公开(公告)号：CN119206188B

公开(公告)日：2025-03-21

申请号：CN202411362174.2

申请日：2024-09-27

Applicant: 中国矿业大学

Inventor： 王浩宇 ,  刘晓敏 ,  张威 ,  吴世佳 ,  刘晓毓 ,  王兆杰 ,  张尚 ,  冯凯

IPC: G06V10/25 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V20/58 ,  G06N3/045 ,  G06N3/042 ,  G06N3/096 ,  G06N3/0455

Abstract: 本发明属于计算机视觉技术领域，本发明公开了一种基于互蒸馏属性融合网络的多模态车辆目标检测框架。首先，提出了基于最优传输理论的跨模态互蒸馏模块，利用红外图像和可见光图像的互补特性，通过跨模态空间知识互蒸馏，抑制多模态噪声干扰；其次，提出了属性分解模块，利用属性路由机制将混杂的多模态全局特征分解为独立的属性特征，并通过最大化属性熵确保了属性特征的多样性；最后，提出了属性图融合模块，独立融合不同模态的对应属性特征，并利用在特征融合过程中为每个类别定制了个性化的属性图，以建模各类目标属性特征之间的关联，从而提升模型对不同类别目标的适应性。

公开(公告)号：CN119206188A

公开(公告)日：2024-12-27

申请号：CN202411362174.2

申请日：2024-09-27

Applicant: 中国矿业大学

Inventor： 王浩宇 ,  刘晓敏 ,  张威 ,  吴世佳 ,  刘晓毓 ,  王兆杰 ,  张尚 ,  冯凯

IPC: G06V10/25 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06V20/58 ,  G06N3/045 ,  G06N3/042 ,  G06N3/096 ,  G06N3/0455

Abstract: 本发明属于计算机视觉技术领域，本发明公开了一种基于互蒸馏属性融合网络的多模态车辆目标检测框架。首先，提出了基于最优传输理论的跨模态互蒸馏模块，利用红外图像和可见光图像的互补特性，通过跨模态空间知识互蒸馏，抑制多模态噪声干扰；其次，提出了属性分解模块，利用属性路由机制将混杂的多模态全局特征分解为独立的属性特征，并通过最大化属性熵确保了属性特征的多样性；最后，提出了属性图融合模块，独立融合不同模态的对应属性特征，并利用在特征融合过程中为每个类别定制了个性化的属性图，以建模各类目标属性特征之间的关联，从而提升模型对不同类别目标的适应性。