-
公开(公告)号:CN119151801B
公开(公告)日:2025-04-25
申请号:CN202411561833.5
申请日:2024-11-05
Applicant: 广州市南沙区北科光子感知技术研究院 , 北京信息科技大学
IPC: G06T5/50 , G06N3/0455 , G06N3/08 , G06T3/4038 , G06T5/60
Abstract: 本发明涉及图像处理技术领域,提供了一种利用Mamba的红外与可见光图像融合方法,该方法包括分别将可见光图像Ivi和红外图像Iir输入浅层特征提取器进行浅层特征提取,获得浅层可见光图像特征#imgabs0#和浅层红外图像特征#imgabs1#;分别将浅层可见光图像特征#imgabs2#和浅层红外图像特征#imgabs3#输入各自对应的深层特征提取器进行深层特征提取,获得深层可见光图像特征#imgabs4#和深层红外图像特征#imgabs5#;将深层可见光图像特征#imgabs6#和深层红外图像特征#imgabs7#进行拼接操作并输入特征解码器获得融合图像IF。本发明展现出了强大的泛化能力,能够在无需额外微调的情况下适应各种分辨率的红外与可见光图像融合任务。
-
公开(公告)号:CN119151801A
公开(公告)日:2024-12-17
申请号:CN202411561833.5
申请日:2024-11-05
Applicant: 广州市南沙区北科光子感知技术研究院 , 北京信息科技大学
IPC: G06T5/50 , G06N3/0455 , G06N3/08 , G06T3/4038 , G06T5/60
Abstract: 本发明涉及图像处理技术领域,提供了一种利用Mamba的红外与可见光图像融合方法,该方法包括分别将可见光图像Ivi和红外图像Iir输入浅层特征提取器进行浅层特征提取,获得浅层可见光图像特征#imgabs0#和浅层红外图像特征#imgabs1#;分别将浅层可见光图像特征#imgabs2#和浅层红外图像特征#imgabs3#输入各自对应的深层特征提取器进行深层特征提取,获得深层可见光图像特征#imgabs4#和深层红外图像特征#imgabs5#;将深层可见光图像特征#imgabs6#和深层红外图像特征#imgabs7#进行拼接操作并输入特征解码器获得融合图像IF。本发明展现出了强大的泛化能力,能够在无需额外微调的情况下适应各种分辨率的红外与可见光图像融合任务。
-
公开(公告)号:CN119090739A
公开(公告)日:2024-12-06
申请号:CN202411561827.X
申请日:2024-11-05
Applicant: 广州市南沙区北科光子感知技术研究院 , 北京信息科技大学
Abstract: 本发明涉及数字图像处理技术领域,提供了一种提升图像细节与纹理的红外与可见光图像融合方法,该方法包括:将原始红外图像和原始可见光图像的特征向量拼接;采用串行的多个残差并行视觉Mamba网络模型对得到的源图像特征进行不同空间尺度的初始特征图提取;将最后一次迭代得到的初始特征图作为基础特征图,采用多通道并行视觉Mamba网络模型识别基础特征图的融合特征信息;将融合特征信息扩展至不同空间尺度的初始特征图中,得到不同空间尺度上的初始融合特征图;将各个空间尺度上的初始融合特征图上采样至原始红外图像的分辨率并生成融合图像;根据融合图像与原始图像的特征损失进行迭代优化。本发明能够显著提升融合图像中的细节清晰度与纹理表现。
-
公开(公告)号:CN119515696A
公开(公告)日:2025-02-25
申请号:CN202411572909.4
申请日:2024-11-06
Applicant: 广州市南沙区北科光子感知技术研究院 , 北京信息科技大学
Abstract: 本发明涉及数字图像处理技术领域,提供了一种实现红外与可见光图像融合的方法及系统,该方法包括:提取初始红外特征和初始可见光特征;采用多通道并行交叉视觉Mamba网络模型分别对初始红外特征和初始可见光特征进行全局特征提取,得到红外全局特征和可见光全局特征;采用多通道并行KAGtention网络模型分别对初始红外特征和初始可见光特征进行局部特征提取,得到红外局部特征和可见光局部特征;对红外全局特征和可见光全局特征进行合并和映射重建得到全局特征;将红外局部特征和可见光局部特征进行合并和映射重建得到局部特征;根据全局特征和局部特征生成融合图像。本发明能够显著提升融合图像质量,在保持高精度的同时,减少所需的计算资源。
-
公开(公告)号:CN119090739B
公开(公告)日:2025-02-14
申请号:CN202411561827.X
申请日:2024-11-05
Applicant: 广州市南沙区北科光子感知技术研究院 , 北京信息科技大学
Abstract: 本发明涉及数字图像处理技术领域,提供了一种提升图像细节与纹理的红外与可见光图像融合方法,该方法包括:将原始红外图像和原始可见光图像的特征向量拼接;采用串行的多个残差并行视觉Mamba网络模型对得到的源图像特征进行不同空间尺度的初始特征图提取;将最后一次迭代得到的初始特征图作为基础特征图,采用多通道并行视觉Mamba网络模型识别基础特征图的融合特征信息;将融合特征信息扩展至不同空间尺度的初始特征图中,得到不同空间尺度上的初始融合特征图;将各个空间尺度上的初始融合特征图上采样至原始红外图像的分辨率并生成融合图像;根据融合图像与原始图像的特征损失进行迭代优化。本发明能够显著提升融合图像中的细节清晰度与纹理表现。
-
公开(公告)号:CN119904720A
公开(公告)日:2025-04-29
申请号:CN202411958642.2
申请日:2024-12-30
Applicant: 广州市南沙区北科光子感知技术研究院 , 北京信息科技大学
IPC: G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08 , G06N3/045
Abstract: 本发明涉及图像处理技术领域,提供了一种基于角点注意力的照度感知红外与可见光图像融合方法,该方法包括:将红外图像和可见光图像输入各自对应的特征提取器进行逐级迭代的特征提取,并计算预设特征提取层级的差分红外图像角点特征和差分可见光图像角点特征,并将差分红外图像角点特征融合入相应特征提取层级所提取的层级红外图像特征中,将差分可见光图像角点特征融合入相应特征提取层级所提取的层级可见光图像特征中;将获得的可见光图像特征和红外图像特征进行拼接获得拼接图像特征,并将拼接图像特征输入预设的图像重构器进行图像重构,以获得融合图像。本发明能够更加细致地关注到纹理细节、边缘以及结构在融合过程中的表现。
-
公开(公告)号:CN115641494B
公开(公告)日:2024-05-31
申请号:CN202211315084.9
申请日:2022-10-26
Applicant: 广州市南沙区北科光子感知技术研究院 , 北京信息科技大学
IPC: G06V10/82 , G06V30/19 , G06N3/0464
Abstract: 本发明提供了一种基于微环调制器的神经网络图像处理系统,包括:阵列的多个激光器,以及多个全通型微环,每个激光器连接的每个全通型微环的输入端,其中,通过对每个所述全通型微环施加恒定电压,使输出的光强值与待处理图像的像素值成正比;每个全通型微环的输出端通过波分复用器连接至分插复用型微环的输入端,分插复用微环的输出端连接至平衡探测器,将分插复用微环输出的光信号转换成电信号并进行乘法运算,其中,通过对分插复用微环施加恒定电压,使分插复用微环的输入信号的光强值与输出信号的光强值成对应比值,比值为卷积核的参数值;平衡探测器连接至跨阻放大器。本发明极大的提高了图像处理过程中的运算速度。
-
公开(公告)号:CN115641494A
公开(公告)日:2023-01-24
申请号:CN202211315084.9
申请日:2022-10-26
Applicant: 广州市南沙区北科光子感知技术研究院 , 北京信息科技大学
IPC: G06V10/82 , G06V30/19 , G06N3/0464
Abstract: 本发明提供了一种基于微环调制器的神经网络图像处理系统,包括:阵列的多个激光器,以及多个全通型微环,每个激光器连接的每个全通型微环的输入端,其中,通过对每个所述全通型微环施加恒定电压,使输出的光强值与待处理图像的像素值成正比;每个全通型微环的输出端通过波分复用器连接至分插复用型微环的输入端,分插复用微环的输出端连接至平衡探测器,将分插复用微环输出的光信号转换成电信号并进行乘法运算,其中,通过对分插复用微环施加恒定电压,使分插复用微环的输入信号的光强值与输出信号的光强值成对应比值,比值为卷积核的参数值;平衡探测器连接至跨阻放大器。本发明极大的提高了图像处理过程中的运算速度。
-
公开(公告)号:CN119599068A
公开(公告)日:2025-03-11
申请号:CN202411537434.5
申请日:2024-10-31
IPC: G06N3/0495 , G06N3/0464 , G06N3/084 , G06V10/42 , G06V10/52 , G06T3/4053 , G06T3/4046
Abstract: 本发明涉及数字图像处理领域,公开了基于频域卷积的图像超分辨率的轻量化神经网络模型,包括多尺度小波卷积模块、网络模块、特征提取模块。所述多尺度小波卷积模块首先进行逐点卷积以进行通道维度的升维,随后进行小波变换得到频率域特征,包含更多的图像细节信息,随后对低频、水平、垂直、对角频率分量采用不同的卷积核Ki,实现频率域多尺度特征提取。通过设计了一个新型多尺度小波卷积模块,在轻量化通道可分离卷积的基础上结合了小波变换,在频率域精细提出图像特征,根据不同频率的特征采用不同的卷积核处理,以此实现轻量化多尺度特征提取,从而能够达到在增加少量参数和计算量的情况下显著增强网络泛化性能,提高图片的分辨率的效果。
-
-
-
-
-
-
-
-