公开(公告)号：CN119295810A

公开(公告)日：2025-01-10

申请号：CN202411330049.3

申请日：2024-09-24

Applicant: 中国科学院微电子研究所

Inventor： 高兴宇 ,  石海龙 ,  张宝斌

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/049

Abstract: 本发明涉及一种基于分层竞争脉冲神经网络的图像分类方法及系统，属于图像分类领域，解决了图像分类时识别准确率低的问题，包括:将预处理后的图像数据输入训练好的SNN网络，得到图像的预测分类标签；其中，对所述SNN网络引入竞争策略，包括：对输入图像数据不同位置的特征图进行排序，实现对特征图的激励或抑制；以及基于敏感度对不同的脉冲神经元进行排序，实现对脉冲神经元的激励或抑制；对所述SNN网络的训练包括：对网络中的各个卷积核分配权重、对各个神经元分配权重；计算得到训练的损失值；进行反向传播，计算得到各个卷积核的权重、各个神经元的权重、激励系数和抑制系数。增强脉冲神经网络的特征表达能力及提高图像识别的准确率。

公开(公告)号：CN118378623A

公开(公告)日：2024-07-23

申请号：CN202410293678.7

申请日：2024-03-14

Applicant: 中国科学院微电子研究所

Inventor： 潘博诚 ,  高兴宇 ,  石海龙

IPC: G06F40/284 ,  G06F40/216 ,  G06F40/253 ,  G06F18/22 ,  G06V20/70 ,  G06V10/74

Abstract: 本发明涉及一种基于跨模态大模型的全局视觉引导图像描述生成方法，属于图像处理领域。包括：将分类标签、待测图像输入跨模态模型得到预测标签；将预测标签与语法提示语句结合构建语言模型提示语句；将提示语句输入大规模预训练语言模型得到预选词汇，基于预选词汇与预测标签得到词汇候选列表；基于候选列表中词汇对应的得分得到生成词汇；将生成词汇与所述提示语句合并并输入所述语言模型进行迭代直至迭代次数达到阈值或生成结束符，根据所有生成词汇的得分得到待测图像的图像描述。该方法通过将与图像特征强相关的标签输入语言模型并纳入词汇候选列表，通过加权的图文一致性分数和语义流畅度分数得到生成词汇，提高了图像描述的精准性和自然性。

公开(公告)号：CN118570101A

公开(公告)日：2024-08-30

申请号：CN202410680714.5

申请日：2024-05-29

Applicant: 中国科学院微电子研究所

Inventor： 黎欢 ,  高兴宇 ,  石海龙

IPC: G06T5/73 ,  G06T5/50 ,  G06T5/60

Abstract: 本申请提供了一种基于多模态信息融合的事件图像去模糊方法及系统，方法包括：获取事件数据和初始图像帧，将事件数据和初始图像帧输入至去模糊模型，得到初始图像帧对应的清晰图像帧。去模糊模型包括粗糙融合模块和细融合模块，粗糙融合模块对事件数据和初始图像帧进行特征提取以及特征融合，得到具有时间顺序的多个粗糙融合图像帧，细融合模块对多个在时间顺序上相邻的粗糙融合图像帧进行特征融合，得到清晰图像帧。由此可见，本申请通过从粗到细的全面融合过程有效地利用了事件数据的时空信息，能够使得事件数据最大程度的得到利用，实现在高速运动场景中进行图像去模糊，提高图像去模糊的成像质量。