公开(公告)号：CN118212475A

公开(公告)日：2024-06-18

申请号：CN202410468662.5

申请日：2024-04-18

Applicant: 华侨大学

Inventor： 李弼程 ,  许逸飞 ,  蔡博伟 ,  皮慧娟 ,  王华珍 ,  王成

IPC: G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06F16/35 ,  G06F40/30

Abstract: 一种基于多模态融合的图像主题分类方法和系统，包括：通过数据预处理构建图像对应的叙事文本和概念文本；将图像及其对应的叙事文本和概念文本输入预训练的特征提取模型得到图像特征、图像概念文本特征和图像叙事文本特征；采用标签注意力融合机制将所述图像特征和概念文本特征进行融合得到第一融合特征，利用多模态交叉注意力融合机制将所述图像特征和所述叙事文本特征进行融合得到第二融合特征；对所述第一融合特征和所述第二融合特征进行拼接融合和标签预测，实现图像主题分类。本发明融合文本信息辅助图像的新闻主题分类，提升模型的可解释性和泛化性。

公开(公告)号：CN115829909A

公开(公告)日：2023-03-21

申请号：CN202210587952.2

申请日：2022-05-27

Applicant: 华侨大学

Inventor： 李弼程 ,  蔡博伟 ,  刘凯 ,  皮慧娟 ,  王华珍 ,  王成

IPC: G06T7/00 ,  G06T7/40 ,  G06T7/90

Abstract: 本发明提供了一种基于特征增强和频谱分析的伪造检测方法，在RGB空间通过浅层纹理特征增强保留纹理信息，得到纹理特征增强图；在RGB空间通过通道空间注意力机制模块得到注意力图，将注意力图与输入的特征图执行逐元素点乘，得到经注意力强化后的深层语义特征增强图；在频域空间通过色彩空间变换将图片从RGB色彩空间转换到YCbCr色彩空间，通过DFT和DWT两种频域变换将不同的频域通道串联起来得到浅层频域特征，通过特征提取网络得到深层频域特征图；将纹理特征增强图和深层语义特征增强图经双线性池化进行融合，得到RGB空间特征图；将RGB空间特征图和深层频域特征图拼接，经全连接层进行分类；本发明提供的方法，解决受生成网络结构和数据集多样性影响的问题。