公开(公告)号：CN119380029B

公开(公告)日：2025-03-11

申请号：CN202411943039.7

申请日：2024-12-27

Applicant: 湖南大学

Inventor： 张辉 ,  曹意宏 ,  肖正 ,  杜瑞 ,  刘立柱 ,  杨恺伦 ,  梅杰 ,  毛建旭 ,  王耀南

IPC: G06V10/26 ,  G06V10/774 ,  G06V10/82 ,  G06N3/084

Abstract: 本发明公开了一种伪标签生成及无源域场景自适应的遮挡感知无缝分割方法及系统，该方法通过为常规使用的实例级伪标签通过阈值筛选和数据量的对比，进一步提升伪标签的标记精度；同时利用生成的伪标签，并设计一种针对遮挡感知无缝分割任务中实例级预测分支的不确定区域引导的加权损失，提升分割模型的准确度；再结合对低质量伪标签的筛选，提出一种非模态引导的实例混合策略，从而进一步的增加可供训练的样本数量；从而提高由于个别类别样本数量少导致的最终训练的模型分割效果差的问题，最终提高无源域场景自适应效果。

公开(公告)号：CN118864866B

公开(公告)日：2025-02-11

申请号：CN202411346191.7

申请日：2024-09-26

Applicant: 湖南大学

Inventor： 张辉 ,  杜瑞 ,  曹意宏 ,  别克扎提·巴合提 ,  钟杭 ,  毛建旭 ,  王耀南

IPC: G06V10/26 ,  G06N3/0455 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于跨层级引导融合的多模态图像语义分割方法及系统，该方法利用RGB影像信息和深度信息、热成像信息和光谱信息等额外模态图像信息的多模态数据，融合多模态信息并用于图像语义分割任务。该方法先将额外模态图像转换成和RGB图像同样的尺寸大小和视觉范围，再使用基于Transformer基本块的双分支编码器提取RGB模态和额外模态特征，通过跨层级引导融合模块在浅层、中层、高层特征中利用低层级特征引导高层级特征的多模态融合，最后利用解码器对多级融合特征解码，并逐像素点输出图像的类别，解决了在复杂场景下语义分割表现不佳的问题；本发明技术方案可应用于机器人智能分拣、无人机智能巡检等复杂场景。

公开(公告)号：CN118968174A

公开(公告)日：2024-11-15

申请号：CN202411088848.4

申请日：2024-08-09

Applicant: 湖南大学

Inventor： 张辉 ,  赵伟 ,  曹意宏 ,  刘立柱 ,  苏英剑 ,  毛建旭 ,  王耀南

IPC: G06V10/764 ,  G06V10/58 ,  G06V10/44 ,  G06V10/82 ,  G06V10/74 ,  G06V20/10 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明公开了一种基于自注意力网络的高光谱图像分类特征提取方法，提出了基于空谱自注意力机制的特征提取网络，直接利用初始输入进行光谱注意操作和空间注意操作，将其结果进行联系，将光谱注意力机制和空间注意力机制引入特征提取网络中，使得网络更加关注检测任务感兴趣的区域，避免光谱数据被破坏和光谱重要性无法正确提取的问题；并且提出了基于光谱中心自注意力网络的特征提取网络，计算贡献率最大的光谱与其他光谱之间的相似度，避免不同光谱之间不相关的影响，使得神经网络更多地关注贡献大的光谱波段，提取图像光谱局部差异特征，提升高光谱图像分类精度。

公开(公告)号：CN118864866A

公开(公告)日：2024-10-29

申请号：CN202411346191.7

申请日：2024-09-26

Applicant: 湖南大学

Inventor： 张辉 ,  杜瑞 ,  曹意宏 ,  别克扎提·巴合提 ,  钟杭 ,  毛建旭 ,  王耀南

IPC: G06V10/26 ,  G06N3/0455 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于跨层级引导融合的多模态图像语义分割方法及系统，该方法利用RGB影像信息和深度信息、热成像信息和光谱信息等额外模态图像信息的多模态数据，融合多模态信息并用于图像语义分割任务。该方法先将额外模态图像转换成和RGB图像同样的尺寸大小和视觉范围，再使用基于Transformer基本块的双分支编码器提取RGB模态和额外模态特征，通过跨层级引导融合模块在浅层、中层、高层特征中利用低层级特征引导高层级特征的多模态融合，最后利用解码器对多级融合特征解码，并逐像素点输出图像的类别，解决了在复杂场景下语义分割表现不佳的问题；本发明技术方案可应用于机器人智能分拣、无人机智能巡检等复杂场景。

公开(公告)号：CN118864443A

公开(公告)日：2024-10-29

申请号：CN202411149687.5

申请日：2024-08-21

Applicant: 湖南大学

Inventor： 张辉 ,  刘航 ,  别克扎提·巴合提 ,  曹意宏 ,  杜瑞 ,  吴读桑 ,  王耀南 ,  毛建旭

IPC: G06T7/00 ,  G06V10/26 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开一种基于实例分割的路面病害智能检测方法及系统，利用线阵相机采集包含路面病害的图像数据，通过自适应直方图均衡化对所采集的图像数据进行预处理；建立多层级特征提取网络提取图像数据中的全局特征，输出多尺度特征图；采用空间‑通道注意力机制对多尺度特征图进行处理，增强其特征信息，使目标区域充分激活；通过采用转置卷积上采样的路径聚合金字塔网络对多尺度特征图进行特征融合，将金字塔网络的输出特征通过自适应增强机制进一步增强；将增强后的多尺度特征图进行模型训练；使用优化好的实例分割模型对采集的多张路面图像进行预测。本发明解决了现有的路面病害检测方法的局限性，提升路面病害检测精度、解决跨图病害识别等难点。

公开(公告)号：CN113673354B

公开(公告)日：2024-02-20

申请号：CN202110838489.X

申请日：2021-07-23

Applicant: 湖南大学

Inventor： 张辉 ,  李晨 ,  赵晨阳 ,  陈瑞博 ,  孔森林 ,  曹意宏 ,  王耀南

IPC: G06V40/10 ,  G06V10/75 ,  G06V10/774 ,  G06V10/80

Abstract: 本发明公开了一种基于上下文信息与联合嵌入的人体关键点检测方法，该方法包含以下步骤：S1：获取训练数据；S2：搭建人体关键点检测模型；S3：构建人体关键点真实标签热图和联合嵌入值标签热图；S4：使用训练数据对人体关键点检测模型进行训练，得到训练后的人体关键点检测模型；S5：使用验证数据对人体关键点检测模型进行评估，选取最优模型；S6：重复步骤S4至S5，至全部训练数据被训练完成，得到最优模型；S7：利用最优模型进行人体关键点预测。该方法通过上下文融合模块对特征图中的像素内在相关性进行建模，提高了对关键点像素位置的预测进度，同时通过构造联合嵌入损失，降低训练难度加快收敛速度，保证不同人体关键点之间的正确匹配。