公开(公告)号：CN119559640A

公开(公告)日：2025-03-04

申请号：CN202411686076.4

申请日：2024-11-24

Applicant: 北京工业大学

Inventor： 张逸 ,  蒋宗礼 ,  张津丽 ,  马宇飞 ,  宫庆民 ,  金儒男

IPC: G06V20/70 ,  G06V10/82 ,  G06V10/40 ,  G06V10/77 ,  G06N3/0455 ,  G06N3/0495 ,  G06N3/082

Abstract: 本发明公开了基于异构映射网络和多层级特征增强的轻量化图像描述系统，包括如下步骤：采用编码器‑解码器的基础框架搭建该系统，采用训练成熟的多模态大模型CLIP和语言大模型GPT‑2分别作为系统的编码器和解码器。在编码器和解码器之间设置了并行的异构映射网络通道用以实现对图像特征进行更全面的特征提取和特征映射。将每个映射通道的映射输出利用交叉注意力机制同解码器连接构成第一层特征增强机制，将三个通道映射输出拼接后的综合输出同解码器连接构成第二层特征增强机制。利用所设计的轻量化框架、异构映射网络和多层级特征增强机制对实现过程进行总体设计，构成整体模型实现对图像的自动化描述。

公开(公告)号：CN119557732A

公开(公告)日：2025-03-04

申请号：CN202411686075.X

申请日：2024-11-24

Applicant: 北京工业大学

Inventor： 黎佳伟 ,  蒋宗礼 ,  张津丽 ,  马宇飞 ,  宫庆民 ,  金儒男

IPC: G06F18/241 ,  G06F18/213 ,  G06F18/22 ,  G06F18/25 ,  G06N3/0895 ,  G06N3/042 ,  G06N3/045 ,  G06Q50/00

Abstract: 本发明公开了基于局部感知多视图融合的社区机器人检测系统，包含如下步骤：设计特征编码模块，提取一个账户的多模态特征，获取用户的特征编码；基于特征编码模块，分别利用StarBlokc模块和HGT模块提取用户的多视图特征；基于双视图特征，设计局部相似性感知模块提取用户的局部相似性分数，并用局部相似性分数融合多视图特征；设计3阶段的社区和标签感知的对比学习方法来训练整个模型，并用模型进行社区机器人识别。本发明是设计了多视图的特征提取器分别低频和高频特征，并对用户的局部相似性进行建模，提出了局部相似性模块对用户的最终表示进行动态加权融合来解决由于数据采样和机器人伪装导致的异质性不均衡的问题。