一种基于知识蒸馏的跨模态图像旋转目标识别方法及系统

    公开(公告)号:CN118781331B

    公开(公告)日:2024-12-27

    申请号:CN202411259450.2

    申请日:2024-09-10

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于知识蒸馏的跨模态图像旋转目标识别方法及系统,本发明包括构建和训练以红外模态图像与可见光模态图像作为输入的教师网络模型,以可见光模态图像/红外模态图像作为输入的学生网络模型,利用可见光模态图像的样本训练学生网络模型,将可见光模态图像及其对应的红外模态图像的样本输入教师网络模型,利用教师网络模型中的多模态主干网、多尺度聚合层中提取的特征进行知识蒸馏并计算特征和关系蒸馏损失来训练优化学生网络模型的网络参数,直至完成对学生网络模型的训练以用于对输入的可见光模态图像进行旋转目标识别。本发明旨提高学生网络模型的检测精度,同时兼具跨模态检测功能。

    基于跨模态提示学习的视频问答方法与系统

    公开(公告)号:CN114996513A

    公开(公告)日:2022-09-02

    申请号:CN202210510047.7

    申请日:2022-05-11

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于跨模态提示学习的视频问答方法与系统,本发明方法包括:针对示教视频提取视觉特征和文本特征,利用上下文查询注意力得到对应的跨模态输出特征;根据输出特征,利用视频答案区间高亮模块获取视频答案区间高亮特征并作为预训练的语言模型的视觉提示,通过预训练的语言模型基于文本问题、字幕以及视觉提示预测字幕跨度。本发明以高效准确从给定的未剪辑的示教视频中找到问题匹配的视频答案时间段区间,以视频答案时间段区间从语义上回答指定的文本问题为目标,利用视频答案区间高亮模块增强了预训练语言模型中的文本跨度定位,能显著提高视频分类和视频问答的准确率和效率,且适用于各类视频的分类与视频问答任务。

    一种基于混合注意力的人机对话生成方法、系统及介质

    公开(公告)号:CN114996431A

    公开(公告)日:2022-09-02

    申请号:CN202210916763.5

    申请日:2022-08-01

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于混合注意力的人机对话生成方法、系统及介质,本发明方法包括将交互对象的说话内容提取文本特征序列Fw,并将文本特征序列Fw基于位置编码矩阵PE进行位置编码,得到引入位置信息的文本特征序列Fwp;分别通过全局自注意力机制、稀疏注意力机制提取特征再进行线性融合得到特征序列Fen;最后提取回复文本序列Y的注意力向量Ac并与Fen进行点乘得到表示向量hf;通过前馈神经网络对表示向量hf获取面向回复文本序列Y的概率表示P(Y)并定向搜索最优的回复文本并输出。本发明能够提高人机对话生成的质量,有效的表示说话人内容,可广泛应用于人机对话生成。

    一种基于单目视觉惯导融合的无人机自主定位方法与系统

    公开(公告)号:CN114693754A

    公开(公告)日:2022-07-01

    申请号:CN202210596099.0

    申请日:2022-05-30

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于单目视觉惯导融合的无人机自主定位方法与系统,本发明方法包括针对无人机航拍得到的连续图像:将相邻图像帧进行帧‑帧配准,再经对极几何测姿、三角测量获得特征点的深度,基于特征点的深度、帧‑帧配准后的图像帧中的二维坐标进行位姿解算得到相对视觉位姿;同时对连续图像提取关键帧,与基准图进行帧‑图匹配以获取特征点的绝对位置坐标,再与三角测量得到的深度进行位姿解算得到绝对视觉位姿;根据相对视觉位姿、绝对视觉位姿以及基于惯性测量单元IMU的检测数据得到的惯导位姿联合优化得到无人机的绝对位姿。本发明能够在不依靠GPS的情况下,实现无人机的高精度、长时间自主实时定位。

    一种基于自适应秩校正的高光谱图像去噪方法、系统及介质

    公开(公告)号:CN110458777B

    公开(公告)日:2021-10-15

    申请号:CN201910717658.7

    申请日:2019-08-05

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于自适应秩校正的高光谱图像去噪方法、系统及介质,本发明高光谱图像去噪方法针对各个矩阵化分块退化高光谱图像、矩阵化分块初始估计的干净高光谱图像建立基于自适应秩校正的高光谱图像去噪模型,通过自适应秩校正惩罚函数实现自适应地抵消核范数对大的奇异值的惩罚,基于l2,1范数消除稀疏噪声,采用交替方向乘子算法进行求解分块干净图像并组合获得最终估计的干净高光谱图像。本发明能够解决现有大多数基于低秩矩阵恢复的高光谱去噪方法利用核范数逼近矩阵秩导致过度惩罚大的奇异值和秩信息固定且需提前定义使得方法不灵活等问题,能够去除高光谱图像中的高斯噪声、脉冲噪声、死线和条带等复杂噪声。

    一种高分辨率高光谱计算成像方法、系统及介质

    公开(公告)号:CN112801881B

    公开(公告)日:2021-06-22

    申请号:CN202110395614.4

    申请日:2021-04-13

    Applicant: 湖南大学

    Abstract: 本发明公开了一种高分辨率高光谱计算成像方法、系统及介质,本发明方法包括:对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0;将初始高光谱图像X0输入到预先完成训练的成像模型引导的深度卷积神经网络,通过迭代求解得到高光谱图像X,该深度卷积神经网络由多个具有相同结构的模块级联构成,每一个模块由高光谱先验学习模块HPL和成像模型引导模块IMG构成,高光谱先验学习模块HPL用于学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征。本发明能够有效实现RGB图像到高分辨率的高光谱图像的重构,具有重构精度高、计算效率高、内存消耗小、泛化能力强的优点。

    一种基于自适应滤波的扫描图像去网纹方法

    公开(公告)号:CN103561194B

    公开(公告)日:2016-01-20

    申请号:CN201310421774.7

    申请日:2013-09-16

    Inventor: 李树涛 孙斌 孙俊

    Abstract: 本发明公开了一种基于自适应滤波的扫描图像去网纹方法。其步骤为:利用基于图像中冗余信息去噪算法,去除扫描图像中的随机噪声;采用离散余弦变换来对去噪后的扫描图像进行频域变换,提取半色调图案的网纹频率;将去噪后的扫描图像作为输入,进行导向滤波获取每个像素点的梯度值;根据半色调图案的网纹频率和扫描图像的梯度值构造自适应滤波器,用自适应滤波器对扫描图像进行滤波处理,得到基本估计图像;用扫描图像和基本估计图像作为输入,采用边缘保持滤波算法进行滤波处理,得到去除半色调图案后的连续色调图像。本发明能够有效地改善扫描图像的视觉效果,能解决扫描图像在电子设备上的显示和重打印等问题,具有非常重要的实际应用价值。

    一种基于条件随机场的古籍扫描图像背面渗透盲去除方法

    公开(公告)号:CN104867114A

    公开(公告)日:2015-08-26

    申请号:CN201510168613.0

    申请日:2015-04-13

    Inventor: 李树涛 孙斌 孙俊

    Abstract: 本发明公开了一种基于条件随机场的古籍文本图像背面渗透盲去除方法。它包括以下步骤:先建立文本图像的随机概率分布模型,将图像分为前景部分,背面渗透部分以及背景部分三个组成成分,得到三者的灰度直方图的逼近函数,并采用K-means算法得到三者的参数估计,然后建立条件随机场模型对输入图像进行细分类,利用置信传播算法识别背面渗透部分,最后通过随机填充算法修复图像,得到最终的无背面渗透部分的文本扫描图像。本发明采用条件随机场与随即填充修复算法相结合的方法,能够完善的保留文本图像的前景部分,并有效地移除背面渗透部分,大大改善文本扫描图像的视觉效果,解决了历史文本扫描图像的显示和打印等问题,具有很高的实际应用价值。

    一种基于抠像和边缘增强的快速文本图像超分辨率方法

    公开(公告)号:CN102842119A

    公开(公告)日:2012-12-26

    申请号:CN201210294480.8

    申请日:2012-08-18

    Abstract: 本发明公开了一种基于抠像技术与边缘增强的快速文本图像超分辨率方法。它包括以下步骤:采用基于引导滤波的抠像技术将低分辨率文本图像分为前景色、背景色及前景透明度三个组成部分;分别使用快速插值方法与基于边缘增强的插值方法对低分辨率文本图像的前景色及背景色部分和前景透明度部分进行超分辨率;利用超分辨率后的前景色、背景色及前景透明度部分重构出高分辨率文本图像。本发明能够快速有效的提高超分辨率后的文本图像质量,改善文本图像的视觉效果,能解决低分辨率文本图像或视频在高分辨率电子设备上的显示和打印等问题,具有非常重要的实际应用价值。

    基于区域对比学习的半监督遥感图像语义分割方法与系统

    公开(公告)号:CN118710906A

    公开(公告)日:2024-09-27

    申请号:CN202410849538.3

    申请日:2024-06-27

    Applicant: 湖南大学

    Abstract: 本发明公开了一种基于区域对比学习的半监督遥感图像语义分割方法与系统,本发明包括采用由分层增强模块HA、区域意识对比模块RC、均由编码器与分割网络构成的三个学生网络以及一个教师网络来对编码器与分割网络进行半监督语义分割训练,包括:将有/无标签图像利用HA进行分层增强后输入学生网络,根据学生网络的参数更新教师网络的参数并生成伪标签;通过区域意识对比模块RC根据学生网络预测的区域中心和伪标签计算由区域感知对比损失、像素级交叉熵损失构成的总的损失函数更新学生网络的参数。本发明旨在准确有效地对遥感图像中的不同类别的物体进行识别分割,提高编码器与分割网络构成的语义分割网络的性能以及训练效率。

Patent Agency Ranking