公开(公告)号：CN114419409B

公开(公告)日：2024-11-26

申请号：CN202210036924.1

申请日：2022-01-12

Applicant: 大连海事大学

Inventor： 张益嘉 ,  候硕 ,  鲁明羽

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V40/16 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0499 ,  G06N3/047 ,  G06N3/0464

Abstract: 本发明公开了一种基于人脸识别和分层融合策略的多模态恶意迷因图检测方法，涉及自然语言处理技术领域。本发明引入了一种新的多模态融合模型，并对图像和文本进行多模态训练。这个多特征融合网络首先使用ResNet和YOLO‑v5提取图像特征和属性特征，然后使用属性特征和双向LSTM网络提取文本特征。在提取属性特征的同时，引入了人脸识别器来获取迷因图中人脸的种族和性别信息，这样可以更好地捕捉到仇恨情绪。然后将三种模态的特征重建并融合到一个特征向量中进行预测。评估结果表明，该模型在检测仇恨迷因图方面的性能达到了更高的水平。

公开(公告)号：CN114419409A

公开(公告)日：2022-04-29

申请号：CN202210036924.1

申请日：2022-01-12

Applicant: 大连海事大学

Inventor： 张益嘉 ,  候硕 ,  鲁明羽

IPC: G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06V40/16 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于人脸识别和分层融合策略的多模态恶意迷因图检测方法，涉及自然语言处理技术领域。本发明引入了一种新的多模态融合模型，并对图像和文本进行多模态训练。这个多特征融合网络首先使用ResNet和YOLO‑v5提取图像特征和属性特征，然后使用属性特征和双向LSTM网络提取文本特征。在提取属性特征的同时，引入了人脸识别器来获取迷因图中人脸的种族和性别信息，这样可以更好地捕捉到仇恨情绪。然后将三种模态的特征重建并融合到一个特征向量中进行预测。评估结果表明，该模型在检测仇恨迷因图方面的性能达到了更高的水平。