公开(公告)号：CN119691521A

公开(公告)日：2025-03-25

申请号：CN202411863611.9

申请日：2024-12-17

Applicant: 北京工业大学

Inventor： 刘润韬 ,  蒋宗礼 ,  张津丽 ,  马宇飞 ,  官庆民 ,  金儒男

IPC: G06F18/24 ,  G06Q50/00 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0895 ,  G06V10/40 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/047

Abstract: 本发明公开了基于对比学习的多模态虚假新闻监测方法，属于虚假短视频新闻检测技术领域。包括以下步骤：基于CLIP文本多视图对比学习的特征提取器，设计一个VisualTheme模块进行视觉和文本特征特征提取，实现了对于关键帧和帧主题两种特征的提取和融合；基于文本、视觉和音频预训练特征提取器对短视频新闻中的标题、连续帧、音乐提取特征，实现了对非关键帧的其他模态特征的提取；利用所提取的多种模态特征设计一个多模态融合和分类器，将多模态特征作为输入，生成分类结果。设计一个文本多视图对比学习机制模块用来优化参数。本发明通过文本多视图提升多文本特征的互信息和语义一致性，学习多种文本视图的泛化特征，促进文本特征和其他模态融合。

公开(公告)号：CN119559640A

公开(公告)日：2025-03-04

申请号：CN202411686076.4

申请日：2024-11-24

Applicant: 北京工业大学

Inventor： 张逸 ,  蒋宗礼 ,  张津丽 ,  马宇飞 ,  宫庆民 ,  金儒男

IPC: G06V20/70 ,  G06V10/82 ,  G06V10/40 ,  G06V10/77 ,  G06N3/0455 ,  G06N3/0495 ,  G06N3/082

Abstract: 本发明公开了基于异构映射网络和多层级特征增强的轻量化图像描述系统，包括如下步骤：采用编码器‑解码器的基础框架搭建该系统，采用训练成熟的多模态大模型CLIP和语言大模型GPT‑2分别作为系统的编码器和解码器。在编码器和解码器之间设置了并行的异构映射网络通道用以实现对图像特征进行更全面的特征提取和特征映射。将每个映射通道的映射输出利用交叉注意力机制同解码器连接构成第一层特征增强机制，将三个通道映射输出拼接后的综合输出同解码器连接构成第二层特征增强机制。利用所设计的轻量化框架、异构映射网络和多层级特征增强机制对实现过程进行总体设计，构成整体模型实现对图像的自动化描述。

公开(公告)号：CN119557732A

公开(公告)日：2025-03-04

申请号：CN202411686075.X

申请日：2024-11-24

Applicant: 北京工业大学

Inventor： 黎佳伟 ,  蒋宗礼 ,  张津丽 ,  马宇飞 ,  宫庆民 ,  金儒男

IPC: G06F18/241 ,  G06F18/213 ,  G06F18/22 ,  G06F18/25 ,  G06N3/0895 ,  G06N3/042 ,  G06N3/045 ,  G06Q50/00

Abstract: 本发明公开了基于局部感知多视图融合的社区机器人检测系统，包含如下步骤：设计特征编码模块，提取一个账户的多模态特征，获取用户的特征编码；基于特征编码模块，分别利用StarBlokc模块和HGT模块提取用户的多视图特征；基于双视图特征，设计局部相似性感知模块提取用户的局部相似性分数，并用局部相似性分数融合多视图特征；设计3阶段的社区和标签感知的对比学习方法来训练整个模型，并用模型进行社区机器人识别。本发明是设计了多视图的特征提取器分别低频和高频特征，并对用户的局部相似性进行建模，提出了局部相似性模块对用户的最终表示进行动态加权融合来解决由于数据采样和机器人伪装导致的异质性不均衡的问题。