公开(公告)号：CN117372291A

公开(公告)日：2024-01-09

申请号：CN202311169310.1

申请日：2023-09-12

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  吴刚 ,  江奎 ,  刘贤明

IPC: G06T5/77 ,  G06N3/096 ,  G06N3/09

Abstract: 本发明提出一种利用通用模型对比范式提升图像复原的方法，该方法使用指数移动平均的方式得到目标模型在不同训练迭代的历史版本作为负样本模型。然后定义SPN损失函数,在特征空间中拉大目标模型表示与负样本模型表示之间的距离。此外,还同时引入多个历史模型构造多个负样本，使得训练更加稳定。相比于现有通过手工设定负样本的对比学习方法,该方法对比学习范式无需特定任务先验,对不同图像复原任务具有泛化能力。可以很容易地和已有方法相结合,仅需将SPN损失加入原有目标函数即可。通过在图像超分辨率、去雨、去雾等任务上对不同模型进行重训练,实验结果表明,该方法对比学习框架可以显著提升各个模型的性能,优于现有对比学习技术。

公开(公告)号：CN113313663B

公开(公告)日：2022-09-09

申请号：CN202110644185.X

申请日：2021-06-09

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  胡星宇 ,  刘贤明 ,  马佳义

IPC: G06T5/50 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出基于零样本学习的多聚焦图像融合方法，使用多聚焦图像融合网络结构IM‑Net将输入的多聚焦图像中包含的信息进行融合，IM‑Net包括两个联合的子网络I‑Net和M‑Net，I‑Net对融合图像的深度先验建模，M‑Net对聚焦图的深度先验建模，通过提取的先验信息实现零样本学习，对IM‑Net施加了重构约束，以确保可以将源图像对的信息更好地传输到融合图像，高层语义信息可保持相邻像素的亮度一致性，并且引导损失为IM‑Net查找清晰区域提供了指导信息，实验结果表明了本发明方法的有效性。

公开(公告)号：CN119540059A

公开(公告)日：2025-02-28

申请号：CN202411590182.2

申请日：2024-11-08

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  王晨阳 ,  安文洁 ,  江奎 ,  刘贤明

IPC: G06T3/4053 ,  G06V40/16 ,  G06V10/26 ,  G06V10/82 ,  G06N3/045 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明的一种基于视觉语言先验的人脸超分辨率方法，包括如下步骤：步骤一、将低分辨率人脸图像送入预训练的视觉‑语言大模型中，提取视觉‑语言多元表示；步骤二、构造视觉语言先验辅助的人脸超分辨率网络，融合视觉语言先验信息；步骤三、将低分辨率人脸图像和步骤一提取的视觉语言多元表示，送入到步骤二的网络中得到超分辨率结果，得到恢复的高质量人脸图像。与现有主流的人脸超分辨率方法(FSRNet、DIC、SISN、SFMNet、FaceFormer、WFEN)对比，本发明恢复的人脸图像在客观评价指标和主观视觉质量上均表现更优。

公开(公告)号：CN119272841A

公开(公告)日：2025-01-07

申请号：CN202411291268.5

申请日：2024-09-14

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  王晨扬 ,  胡星宇 ,  刘贤明

IPC: G06N3/098 ,  G06N3/094 ,  G06N3/0464 ,  G06F21/62

Abstract: 本发明的一种利用数据增强实现联邦域泛化方法，用于联邦模型的训练阶段，进行多轮服务端‑客户端通信，每轮通信包括如下步骤：S1、服务器端将全局模型下发到各客户端；S2、客户端基于本地数据上进行对抗增强训练，即迭代进行S2.1及S2.2；S3、客户端将本地模型上传到服务器端进行聚合。本发明的方法，用于在联邦领域泛化设置中寻找全局平坦的极小值。通过将其视为最小化全局模型在全局数据分布上的鲁棒风险的上界，可以解释整个算法。

公开(公告)号：CN119151825A

公开(公告)日：2024-12-17

申请号：CN202411062064.4

申请日：2024-08-05

Applicant: 哈尔滨工业大学

Inventor： 梁鹏伟 ,  江俊君 ,  刘贤明 ,  马佳义

IPC: G06T5/73 ,  G06T7/10 ,  G06V10/764 ,  G06V10/82 ,  G06T5/60 ,  G06T5/50 ,  G06N3/0455 ,  G06N3/084

Abstract: 一种基于分层模型的散焦去模糊方法，它涉及一种散焦去模糊方法。本发明为了解决高层视觉需求与图像恢复任务之间不兼容性的问题。本发明包括步骤1、利用基础特征编码器将模糊图像x∈RC×H×W分割成h∈RN×D；步骤2、上下文编码器使用#imgabs0#学习更清晰且抽象的表征hs；步骤3、解码器将#imgabs1#和hs作为输入，重构除去模糊后的图像#imgabs2#本发明属于图像处理技术领域。

公开(公告)号：CN119131405A

公开(公告)日：2024-12-13

申请号：CN202410902852.3

申请日：2024-07-08

Applicant: 哈尔滨工业大学

Inventor： 江奎 ,  王宇博 ,  江俊君 ,  吴刚 ,  刘贤明

IPC: G06V10/30 ,  G06V10/42 ,  G06V10/44 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出一种基于全局语义引导的夜间图像去雨方法，包括：步骤1：生成RGB‑红外双模态夜间带雨图像数据集#imgabs0#步骤2：构建基于红外引导的RGB图像去雨模型，将RGB带雨图像#imgabs1#和对应的红外图像#imgabs2#输入基于红外引导的RGB图像去雨模型中进行卷积、特征融合、编码、解码、特征的补偿和选择，输出初步去雨后的图像。步骤3：将全局语义引导模块引入RGB图像去雨模型中，输出最终去雨后的图像。本发明构建的IRDeNet方法结合了不同类型的卷积神经网络和包括空间注意力机制、通道注意力机制以及自注意力机制在内的注意力机制，保证了模型的全局和局部特征建模与提取的能力；本发明将RGB图像和红外图像相融合来用于夜间图像去雨任务，去雨效果显著提高。

公开(公告)号：CN118261816A

公开(公告)日：2024-06-28

申请号：CN202410211969.7

申请日：2024-02-27

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  马清 ,  周雄 ,  刘贤明 ,  马佳义

IPC: G06T5/70 ,  G06T5/60 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明属于图像去噪技术领域，提供一种像素级零样本高效图像去噪方法。本发明通过从多个非局部相似块中选择中心像素来构建一个“像素库”张量，然后可以通过从像素库中随机采样像素为每个位置生成多个训练样本，也称为“伪实例”。通过利用像素级随机采样，Pixel2Pixel可获得大量的训练伪实例，打破了依赖特定训练数据的限制，降低了噪声的空间相关性。由于所提方法不需要关于噪声分布的精确先验知识和干净训练图像，因此适用于各种噪声类型和不同噪声水平。广泛的实验表明，Pixel2Pixel在各种类型的噪声上均优于现有方法。本发明充分利用图像数据的非局部自相似性来生成训练样本，仅使用输入的噪声图像，并采用高效轻量的卷积神经网络架构实现高效图像去噪。

公开(公告)号：CN118195905A

公开(公告)日：2024-06-14

申请号：CN202410324579.0

申请日：2024-03-21

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  吴刚 ,  江奎 ,  刘贤明

IPC: G06T3/4076 ,  G06T5/60 ,  G06V10/42 ,  G06V10/44 ,  G06V10/82

Abstract: 本发明提出一种基于状态空间模型的图像复原方法，该方法将残差状态空间模块作为核心构建模块，包含2维视觉状态空间模型和动态卷积结构。其中视觉状态空间模块将状态空间模型适配于图像的空间建模，依赖于2D选择扫描模块，通过多个方向的特征扫描捕获2D空间依赖性。此外，本发明还提出基于动态卷积的局部增强前向网络，进一步改善局部‑全局特征建模。MambaSR的整体架构包括浅层特征提取，深层特征提取以及最终的高质量图像重建。该方法在多个图像超分辨率准测试中超越了现有卷积神经网络和Transformer等主流方法，同时具有全局感受野和线性计算复杂度。实验结果证明了状态空间模型如Mamba在底层视觉任务中的潜力。

公开(公告)号：CN117830096A

公开(公告)日：2024-04-05

申请号：CN202311690044.7

申请日：2023-12-11

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  王晨阳 ,  江奎 ,  刘贤明

IPC: G06T3/4053 ,  G06T5/92 ,  G06T5/70 ,  G06T3/4007 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种低光照条件下的人脸图像超分辨率重建方法。步骤1：合成低光照低分辨率人脸图像ILLR；步骤2：构建亮度校正人脸超分辨率网络IC‑FSRNet；步骤3：将步骤1合成的图像输入到步骤2中，改善人脸图像的亮度并恢复人脸结构信息，得到ISR1；步骤4：构建细节增强模型DENet；步骤5：将步骤3得到的图像输入到步骤4中，改善人脸图像的面部细节，从而使人脸图像具有更好的视觉效果，得到ISR2。本发明可以有效改善低光照低分辨率人脸图像视觉质量，解决现有级联技术中重要面部信息丢失的问题。

公开(公告)号：CN117689544A

公开(公告)日：2024-03-12

申请号：CN202311802761.4

申请日：2023-12-26

Applicant: 哈尔滨工业大学

Inventor： 江俊君 ,  吴刚 ,  刘贤明

IPC: G06T3/4053 ,  G06T5/00 ,  G06V10/40 ,  G06N3/0464 ,  G06N3/0499

Abstract: 本发明涉及一种实时红外图像超分辨率方法，包括如下步骤：步骤一、进行浅层特征提取，将输入图像映射到潜在特征空间；步骤二、进行深层特征提取，利用大核卷积对图像潜空间特征进行高阶特征提取，并在前向网络中对潜空间特征进行边缘信息增强；步骤三、聚合浅层和深层特征，重建高分辨率图像，实现红外图像的超分辨率。本发明基于深度学习方法，提出大核特征提取模块和边缘增强的前向网络模块，有效实现深度神经网络潜空间的高阶特征提取以和增强潜空间特征边缘信息，实现了实时的红外图像超分辨率模型。