公开(公告)号：CN119623564A

公开(公告)日：2025-03-14

申请号：CN202411694561.6

申请日：2024-11-25

Applicant: 中北大学

Inventor： 王晋光 ,  靳凯欣 ,  王丽芳 ,  郭威 ,  韩强

IPC: G06N3/092 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0499 ,  G06F18/15 ,  G06F18/25 ,  G06F18/27 ,  G06N3/048 ,  G06F123/02

Abstract: 本发明属于离线强化学习，具体涉及结合广义优势估计和模态分解交互的离线强化学习方法。为解决基于TransFormer的离线强化学习方法中轨迹拼接能力不足，以及轨迹中多模态信息的模态内交互和模态间交互的问题，本发明采用广义优势估计改善模型在离线数据集中的轨迹拼接能力，模态分解交互模块利用编码器‑解码器结构，编码器利用基于ConvFormer的模态内部交互，有效处理单一模态中的时序信息。与此相对，基于TransFormer的模态间交互则捕捉状态与动作之间的相关性，增强了模型对状态和动作序列的表征能力。解码器进一步使用卷积和交叉注意机制融合多模态信息，从而实现更准确的动作预测。

公开(公告)号：CN117333750A

公开(公告)日：2024-01-02

申请号：CN202311513745.3

申请日：2023-11-14

Applicant: 中北大学

Inventor： 王丽芳 ,  郭威 ,  王晋光 ,  靳凯欣 ,  韩强

IPC: G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06T7/33 ,  G06V10/74

Abstract: 本发明属于医学图像融合领域，具体涉及空间配准与局部全局多尺度的多模态医学图像融合方法。本发明主要利用空间配准网络对图像进行配准处理，同时消除图像分布差异对配准结果的影响，之后使用多尺度减法CNN分支与MPViT分支对图像进行局部与全局多尺度特征提取，并利用提取到的局部与全局多尺度特征进行自适应图像融合。结果表明空间配准网络在配准过程中取得了良好的效果，有效的消除了图像分布差异对配准结果的影响；多尺度减法CNN提供的局部多尺度特征很好的保留了图像的亮度与细节信息，MPViT提供的全局多尺度特征很好的保留了图像的边缘信息，两者的结合使融合图像结构清晰且纹理细节丰富。

公开(公告)号：CN119623511A

公开(公告)日：2025-03-14

申请号：CN202411674372.2

申请日：2024-11-21

Applicant: 中北大学

Inventor： 王晋光 ,  韩强 ,  王丽芳 ,  郭威 ,  靳凯欣

IPC: G06N3/042 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/092 ,  G06F18/20

Abstract: 本发明属于强化学习技术领域，具体涉及基于内外部选择状态空间的离线强化学习序列建模方法。为解决模型学习存在不准确性的问题，以及在序列建模过程中存在Transforemer计算复杂和成本高的问题，本发明依据轨迹序列元素间的Markov属性构建元素依赖表示，使用内部Mamba模块对元素依赖表示建模，捕获轨迹中的短期因果关系，并且结合状态空间模型和离线强化学习，在外部Mamba模块中利用线性复杂度的Mamba对离线强化学习轨迹序列进行建模，捕获元素间的长期时间关系。

公开(公告)号：CN117974468A

公开(公告)日：2024-05-03

申请号：CN202311505772.6

申请日：2023-11-13

Applicant: 中北大学

Inventor： 王丽芳 ,  韩强 ,  王晋光 ,  靳凯欣 ,  郭威

IPC: G06T5/50 ,  G06N3/045 ,  G06V10/44 ,  G06V10/42 ,  G06N3/0499

Abstract: 本发明公开了一种全局与局部特征交互并行的多模态医学图像融合方法，属于医学图像融合技术领域。针对目前多模态医学图像融合方法中存在的Transformer对局部特征提取能力不足、特征提取过程中纹理、边缘信息丢失的问题，通过在Encoder模块中使用由局部多头注意机制构成的Local Transformer block，解决了基于深度学习的多模态医学图像融合方法中Transformer对局部特征提取能力不足的问题；在特征提取过程中引入全局局部特征交互模块，减少了图像全局和局部信息的丢失。从实验结果可知，经本发明提出的方法得到的多模态医学融合图像，主观上细节丰富、纹理清晰，客观上评价指标整体优于其余对比方法，更有利于帮助医生进行临床诊断和有效治疗。

公开(公告)号：CN117392494A

公开(公告)日：2024-01-12

申请号：CN202311375582.7

申请日：2023-10-23

Applicant: 中北大学

Inventor： 王晋光 ,  靳凯欣 ,  王丽芳 ,  郭威 ,  韩强

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/52 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/088

Abstract: 本发明公开了基于扩张卷积与注意力GCN的多模态医学图像融合，属于医学图像融合技术领域。针对多模态医学图像融合方法中存在着高级语义信息提取不足和低级特征容易丢失的问题，通过将图像分别输入到编码器中，使用基于扩张卷积的低级CNN编码器和基于注意力的高级GCN编码器进行提取特征；在融合模块中使用基于Conv‑Soft多模态融合网络进行基于ConvNeXt的模态内融合和基于Softmax的模态间融合；最后使用解码器重建得到融合图像。实验结果表明，基于扩张卷积与注意力GCN的多模态医学图像融合得到的融合图像保留了更多低级特征，对纹理细节表征清晰，保留了丰富的边缘特征和更为完整的高级语义信息，清晰地描述了图像中脑组织和病灶之间关系，更好地帮助医生的诊断。