公开(公告)号：CN119251068A

公开(公告)日：2025-01-03

申请号：CN202411760944.9

申请日：2024-12-03

Applicant: 湖南大学

Inventor： 李树涛 ,  刘海波 ,  胡宇龙 ,  冯辰果 ,  佃仁伟

IPC: G06T5/50 ,  G06T3/4007 ,  G06T3/4053 ,  G01J3/28 ,  G01J3/02

Abstract: 本发明公开了一种高分辨率高光谱视频融合成像装置与方法，本发明高分辨率高光谱视频融合成像装置包括镜头、分光器件和多个成像芯片，所述多个成像芯片包括全色CCD芯片黑至少一个像元级马赛克镀膜CCD芯片，所述镜头捕获目标的反射光线后经过分光器件分为多束，并分别通过多个成像芯片接收并转换为电信号；本发明成像方法包括将高分辨率全色图像Y与低分辨率高光谱图像X融合的问题转换为估计光谱子空间D及其子空间系数矩阵C的问题以实现对高分辨率高光谱图像的融合成像。本发明旨在解决高分辨率高光谱图像实现难、成本高的问题，降低高光谱图像获取成本，提高获取效率。

公开(公告)号：CN118781331B

公开(公告)日：2024-12-27

申请号：CN202411259450.2

申请日：2024-09-10

Applicant: 湖南大学

Inventor： 卢婷 ,  席一帆 ,  付巍 ,  孙斌 ,  李树涛

IPC: G06V10/25 ,  G06N3/084 ,  G06N3/096 ,  G06V10/40 ,  G06V10/774 ,  G06V10/778 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于知识蒸馏的跨模态图像旋转目标识别方法及系统，本发明包括构建和训练以红外模态图像与可见光模态图像作为输入的教师网络模型，以可见光模态图像/红外模态图像作为输入的学生网络模型，利用可见光模态图像的样本训练学生网络模型，将可见光模态图像及其对应的红外模态图像的样本输入教师网络模型，利用教师网络模型中的多模态主干网、多尺度聚合层中提取的特征进行知识蒸馏并计算特征和关系蒸馏损失来训练优化学生网络模型的网络参数，直至完成对学生网络模型的训练以用于对输入的可见光模态图像进行旋转目标识别。本发明旨提高学生网络模型的检测精度，同时兼具跨模态检测功能。

公开(公告)号：CN118762263B

公开(公告)日：2024-11-08

申请号：CN202411247729.9

申请日：2024-09-06

Applicant: 湖南大学

Inventor： 李树涛 ,  陈鹏飞 ,  卢婷

IPC: G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06V10/26 ,  G06V10/762 ,  G06V10/82

Abstract: 本发明公开了一种多时相遥感图像超像素‑像素多级融合识别方法及系统，本发明包括对多时相图像Ta和Tb进行超像素分割，分别得到超像素级特征Fspa和Fspb，同时对多时相图像进行编码得到像素级特征Fpa和Fpb；进行特征融合与差异分析得到超像素级融合编码特征Fsp和像素级差异编码特征Fp；对Fsp和Fp进行解码，分别得到像素级变化预测结果Pp、超像素级变化预测结果Psp和边缘引导的融合变化预测结果PFuse并融合得到最终的变化区域预测结果P。本发明旨在实现超像素和像素级特征的高效融合，减少阴影、纹理、树木遮挡等局部环境因素对变化区域检测的干扰，提升多时相遥感图像变化区域识别精度。

公开(公告)号：CN118762262A

公开(公告)日：2024-10-11

申请号：CN202411247727.X

申请日：2024-09-06

Applicant: 湖南大学

Inventor： 康旭东 ,  邓彬 ,  段普宏 ,  李树涛

IPC: G06V10/80 ,  G06N3/0464 ,  G06V10/26 ,  G06V10/40 ,  G06V10/764 ,  G06V10/82 ,  G06V20/10

Abstract: 本发明公开了一种高光谱和SAR图像融合识别方法及系统，本发明方法包括将高光谱图像和SAR图像输入预先训练好的图卷积融合网络来获得遥感图像分类结果，所述图卷积融合网络进行遥感图像分类包括下述步骤：提取高光谱图像的光谱特征；提取高光谱图像和SAR图像的联合空间特征；融合光谱特征和特征联合空间特征获得融合特征；对融合特征进行分类识别得到遥感图像分类结果。本发明旨在利用图卷积网络在建模高阶非线性结构方面的优势，基于高光谱和SAR图像准确地识别复杂遥感图像中不同地物类别。

公开(公告)号：CN114694039B

公开(公告)日：2024-06-28

申请号：CN202210396604.7

申请日：2022-04-15

Applicant: 湖南大学

Inventor： 李树涛 ,  丁可心 ,  卢婷 ,  付巍

IPC: G06V20/13 ,  G06V10/80 ,  G06V10/26 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种遥感高光谱与激光雷达图像融合分类方法及装置，本发明方法包括将高光谱图像T1和雷达图像T2融合得到像素级融合图像Tp；对Tp进行超像素分割得到标签矩阵L，参照L对Tp进行逐超像素均值化处理得到超像素级融合图像Tsp；对Tp、Tsp降维得到降维后的像素级融合图像Tpd、超像素级融合图像Tspd；对Tpd、Tspd特征融合得到融合特征F，引入空间注意力模块优化得到优化融合特征Fo；利用分类器进行分类得到分类结果G。本发明能够充分利用像素级/超像素级光谱差异特性和空间结构特性，可提取结构更加紧凑、辨识性更高的多模态多层级融合特征，实现面向遥感高光谱图像与雷达图像的高效融合分类。

公开(公告)号：CN117314757B

公开(公告)日：2024-02-09

申请号：CN202311622750.8

申请日：2023-11-30

Applicant: 湖南大学

Inventor： 康旭东 ,  段普宏 ,  李树涛 ,  鲁续坤

IPC: G06T3/4076 ,  G06T3/4084 ,  G06T3/4046 ,  G06N3/0464

Abstract: 本发明公开了一种空谱频多域融合的高光谱计算成像方法、系统及介质，本发明方法包括利用二维的离线离散余弦变换DCT将RGB图像 转换到频率域得到频域特征图 ；从频域特征图中提取频率信息图 ；利用二维的离线离散余弦逆变换IDCT将频率信息图 变换到空间域得到空间域的频率信息图 ；将空间域的频率信息图 融合到RGB图像 的空谱域特征中生成高光谱图像 。本发明旨在解决现有高光谱计算成像中高光谱图像细节信息差、重构精度(56)对比文件Chenying Liu et al.Naive GaborNetworks for Hyperspectral ImageClassification.IEEE TRANSACTIONS ONNEURAL NETWORKS AND LEARNINGSYSTEMS.2021,第32卷(第1期),376-390.Jing Liu et al.Hyperspectral RemoteSensing Images Deep Feature ExtractionBased on Mixed Feature and ConvolutionalNeural Networks.Remote Sensing.2021,(第13期),1-17.刘鹏飞;赵怀慈;李培玄.对抗网络实现单幅RGB重建高光谱图像.红外与激光工程.2020,(第S1期),143-150.

公开(公告)号：CN117036879A

公开(公告)日：2023-11-10

申请号：CN202310910549.3

申请日：2023-07-24

Applicant: 湖南大学

Inventor： 李树涛 ,  丁可心 ,  卢婷 ,  付巍

IPC: G06V10/80 ,  G06N3/0464 ,  G06N3/0895 ,  G06V10/764 ,  G06V10/82 ,  G06V20/10

Abstract: 本发明公开了一种高光谱与激光雷达多模图像空谱融合地物识别方法与装置，本发明包括先根据高光谱图像生成高光谱空间图像块和光谱向量、根据雷达图像生成雷达空间图像块；再利用多级空间‑光谱融合编码器网络进行空间‑光谱特征级融合得到多级融合编码特征并通过分类器网络分类得到地物样本的分类结果，其中多级空间‑光谱融合编码器网络由输出相乘的双分支空间特征编码器支路和光谱特征编码器支路组成，光谱特征编码器支路包括特征嵌入层以及级联的多个光谱特征编码器。本发明旨在解决高光谱与激光雷达等多模遥感图像之间的异质性多源遥感数据融合难题，实现对多级空谱融合特征的挖掘，使得分类器网络的性能不需要高度依赖于标注样本数量。

公开(公告)号：CN116071237B

公开(公告)日：2023-06-20

申请号：CN202310179342.3

申请日：2023-03-01

Applicant: 湖南大学

Inventor： 李树涛 ,  佃仁伟 ,  单天赐 ,  郭安静 ,  韦晓辉

IPC: G06T3/40 ,  G06N3/0464 ,  G06N3/09 ,  G01J3/28 ,  H04N7/01 ,  H04N5/265

Abstract: 本发明公开了一种基于滤光片采样融合的视频高光谱成像方法、系统及介质，本发明包括获取RGB视频流和通过滤光片获得的滤波视频流，提取RGB图像帧I和滤波图像帧F；对RGB图像帧I上采样为浅层光谱特征图X0再光谱重构为细粒化特征图V；对滤波图像帧F滤波曲线优化得到高光谱图像X1；将细粒化特征图V、高光谱图像X1融合为构成高光谱视频流的高光谱图像帧X。本发明以RGB视频流和通过滤光片获得的滤波视频流进行视频高光谱融合成像，结合先进的深度学习技术充分挖掘RGB图像帧、滤波图像帧、高光谱图像帧三者之间的特征，能够实现对高光谱视频流的快速成像，可用于实现小体积的高空间分辨率的视频高光谱成像设备。

公开(公告)号：CN114996513A

公开(公告)日：2022-09-02

申请号：CN202210510047.7

申请日：2022-05-11

Applicant: 湖南大学

Inventor： 李树涛 ,  李宾 ,  孙斌 ,  郭虎

IPC: G06F16/783 ,  G06F16/78 ,  G06F16/732 ,  G06F16/9032 ,  G06V20/40 ,  G06V10/82 ,  G06N3/04 ,  G06F40/205 ,  G06V10/80 ,  G06F16/35 ,  G06K9/62

Abstract: 本发明公开了一种基于跨模态提示学习的视频问答方法与系统，本发明方法包括：针对示教视频提取视觉特征和文本特征，利用上下文查询注意力得到对应的跨模态输出特征；根据输出特征，利用视频答案区间高亮模块获取视频答案区间高亮特征并作为预训练的语言模型的视觉提示，通过预训练的语言模型基于文本问题、字幕以及视觉提示预测字幕跨度。本发明以高效准确从给定的未剪辑的示教视频中找到问题匹配的视频答案时间段区间，以视频答案时间段区间从语义上回答指定的文本问题为目标，利用视频答案区间高亮模块增强了预训练语言模型中的文本跨度定位，能显著提高视频分类和视频问答的准确率和效率，且适用于各类视频的分类与视频问答任务。

公开(公告)号：CN114996431A

公开(公告)日：2022-09-02

申请号：CN202210916763.5

申请日：2022-08-01

Applicant: 湖南大学

Inventor： 李树涛 ,  宋启亚 ,  李宾 ,  孙斌

IPC: G06F16/332 ,  G06N3/04 ,  G06F16/33 ,  G06F40/279 ,  G10L15/26 ,  G10L15/02 ,  G10L15/183

Abstract: 本发明公开了一种基于混合注意力的人机对话生成方法、系统及介质，本发明方法包括将交互对象的说话内容提取文本特征序列Fw，并将文本特征序列Fw基于位置编码矩阵PE进行位置编码，得到引入位置信息的文本特征序列Fwp；分别通过全局自注意力机制、稀疏注意力机制提取特征再进行线性融合得到特征序列Fen；最后提取回复文本序列Y的注意力向量Ac并与Fen进行点乘得到表示向量hf；通过前馈神经网络对表示向量hf获取面向回复文本序列Y的概率表示P(Y)并定向搜索最优的回复文本并输出。本发明能够提高人机对话生成的质量，有效的表示说话人内容，可广泛应用于人机对话生成。