公开(公告)号：CN120031755A

公开(公告)日：2025-05-23

申请号：CN202510119068.X

申请日：2025-01-24

Applicant: 哈尔滨工业大学 ,  中国移动通信集团黑龙江有限公司

Inventor： 赵立军 ,  谢涛 ,  安韬 ,  王靖雯 ,  赵海涛 ,  李刚

IPC: G06T5/77 ,  G06T5/60

Abstract: 本发明涉及图像恢复领域，尤其涉及一种基于恶劣天气图像恢复网络的图像恢复方法。本发明针对现有技术中各任务间在优化过程中梯度冲突带来的准确率下降的问题，因此提出一种基于恶劣天气图像恢复网络的图像恢复方法，为了实现更加细粒度的参数共享策略，提出一种基于混合专家系统的通道级参数共享策略，采用浅层特征提取模块将输入图像提取浅层特征，基于该特征，每一层卷积层配备的门控网络输出判别分数，从而实现通道级权重共享。并且设计一种梯度正则化策略，缓解各任务间在优化过程中梯度冲突带来的准确率下降的问题。

公开(公告)号：CN119309580A

公开(公告)日：2025-01-14

申请号：CN202411341616.5

申请日：2024-09-25

Applicant: 哈尔滨工业大学 ,  长三角哈特机器人产业技术研究院

Inventor： 谢涛 ,  王傲 ,  安韬 ,  李瑞峰 ,  赵立军

IPC: G01C21/20 ,  G01S17/894 ,  G01S17/86 ,  G06V10/80

Abstract: 一种基于大模型的展厅机器人视觉语言导航方法，属于展厅机器人领域，本发明为解决现有展厅机器人存在的问题。本发明方法：展厅机器人多模态场景感知系统：感知当前场景，利用RGB图像和激光点云的融合特征获得候选目标物体；提取场景中所有候选目标物体的图像特征；展厅机器人多模态环境理解系统：展厅机器人接受语音指令，并利用视觉语言多模态大模型理解出目标物体及用户意图，然后从系统中提取该目标物体文本的高维语义特征，从候选目标物体中找出目标物体；基于多模态大模型的展厅机器人智能导航系统：展厅机器人按照意图生成的位姿序列进行路径规划与自主移动，并根据展厅机器人多模态场景感知系统提供的实时变化的场景动态调整自身行为。

公开(公告)号：CN119229874A

公开(公告)日：2024-12-31

申请号：CN202411285266.5

申请日：2024-09-13

Applicant: 哈尔滨工业大学

Inventor： 谢涛 ,  安韬 ,  戴崑 ,  蒋志强 ,  李瑞峰 ,  赵立军

IPC: G10L15/26 ,  G10L13/08 ,  G10L15/06 ,  G10L13/027 ,  G06N5/04 ,  G06N20/00

Abstract: 基于混合训练策略的决策和大语言模型的语音交互方法及存储介质，本发明涉及语音交互方法及存储介质。本发明的目的是为了解决现有大语言模型由于缺乏足够的领域知识，无法提供准确的回答，以及采用两个大语言模型会带来计算成本高，响应时间长的问题。过程为：设置特定的回答格式；构建决策数据集；构建用于特定场景对话问答的对话数据集；基于对话数据集采用全参微调对大语言模型进行第一次微调，得到一次微调后的大语言模型；基于决策数据集采用LoRA对一次微调后的大语言模型进行第二次微调，得到二次微调后的大语言模型；将语音识别模块和语音合成模块接入二次微调后的大语言模型，对用户待测语音问题进行处理，生成语音与用户交互。

公开(公告)号：CN118799393A

公开(公告)日：2024-10-18

申请号：CN202410801484.3

申请日：2024-06-20

Applicant: 哈尔滨工业大学

Inventor： 谢涛 ,  安韬 ,  赵立军 ,  戴崑 ,  李瑞峰

IPC: G06T7/73 ,  G06V10/80 ,  G06N3/045

Abstract: 双向融合6D物体位姿估计方法，解决了在位姿估计时传感器噪声干扰影响网络性能，鲁棒性较差的问题，属于物体位姿估计领域。本发明提供一种基于新型transformer架构的双向融合6D物体位姿估计方法：对待估计场景的RGB图像与深度图像进行预处理，将深度图像转换成点云数据；利用特征提取层提取RGB图像中的外观特征和点云数据中的几何特征；双向特征融合层集成在特征提取层的每一个维度内；自适应MOE层根据特征提取层最后输出的特征判断主导模态，调整外观特征和几何特征的权重，得到MOE特征，并与特征提取层最后输出的外观特征和几何特征进行拼接，拼接后输入至6D物体位姿估计层得到每个物体的6D位姿参数。