一种基于令牌封装与增强的视觉Transformer轻量化方法及系统

    公开(公告)号:CN117592525A

    公开(公告)日:2024-02-23

    申请号:CN202311576896.3

    申请日:2023-11-23

    Inventor: 唐胜 房海鹏 曹娟

    Abstract: 本发明提出一种基于令牌封装与增强的视觉Transformer轻量化方法,包括:以视觉Transformer网络构建视觉模型;划分目标图像为多个图像块,将该图像块编码为图像令牌,对该图像令牌依重要性分类为高重要性令牌和低重要性令牌,将该低重要性令牌的信息封装至该代理令牌;以预设的注意力增强矩阵对该高重要性令牌、该分类令牌和封装后的代理令牌进行增强,生成该视觉模型的模型输入;以该视觉模型对该模型输入进行处理操作。本发明还提出一种基于令牌封装与增强的视觉Transformer轻量化系统,以及一种用于实现基于令牌封装与增强的视觉Transformer轻量化方法的数据处理装置。

    基于时序趋势预测的虚假新闻检测方法及系统

    公开(公告)号:CN116894184A

    公开(公告)日:2023-10-17

    申请号:CN202310728444.6

    申请日:2023-06-19

    Abstract: 本发明提出一种基于时序趋势预测的虚假新闻检测方法,包括:提取新闻样本的新闻表征;将该新闻表征进行聚类以获取至少一个主题簇;以每个主题簇的新闻样本按时序分布,建模为对应新闻主题的数据模型,基于该数据模型,预测该新闻主题的时序分布趋势;基于该时序分布趋势将各主题簇的新闻样本进行重加权后合并为训练集;以该训练集对虚假新闻检测器进行训练;通过该虚假新闻检测器对目标新闻进行虚假新闻检测。本发明还提出一种基于时序趋势预测的虚假新闻检测系统,以及一种用于实现基于时序趋势预测的虚假新闻检测的数据处理装置。

    一种长尾目标检测方法与系统

    公开(公告)号:CN111832406A

    公开(公告)日:2020-10-27

    申请号:CN202010508103.4

    申请日:2020-06-05

    Abstract: 本发明提出的基于平衡分组Softmax的长尾目标检测方法与系统,该方法在网络结构上,改变网络的最后一个全连接层,对拥有不同训练样本数量的类别进行分组,将背景类别单独分为一组,在每组中都加入其它类别;在训练过程中,按照组内普通类别训练样本数量采样一定数量的其它类别样本进行训练,并在每个组内分别用Softmax函数激活并计算交叉熵损失;在测试过程中,在每个组内分别用Softmax函数激活,去掉组内其它类别,仅保留正常类别得分,用背景组的“其它”类别得分为所有正常类别加权,组成最终得分,用于后处理。该发明提升了在大规模长尾目标数据集上的目标检测以及实例分割性能。

    基于多域视觉特征的新闻图像检测方法及系统、装置

    公开(公告)号:CN110889430A

    公开(公告)日:2020-03-17

    申请号:CN201911018018.3

    申请日:2019-10-24

    Abstract: 本发明涉及一种基于多域视觉特征的新闻图像检测方法,包括:提取新闻图像在各频域上的频域向量,获取该频域向量在对应频域上的频域特征,并将该频域特征拼接为该新闻图像的物理视觉特征;获取该新闻图像在各语义上的语义特征,将该语义特征的正向GRU特征序列和反向GRU特征序列,拼接为该新闻图像的语义视觉特征;将该物理视觉特征和该语义视觉特征进行融合及逻辑回归分类,以获取该新闻图像为虚假新闻图像类别的预测概率。本发明基于对虚假新闻图像特点的深入分析,设计了一个深度学习模型,能够充分建模并融合图像在频率域以及像素域的特点,从而实现利用视觉内容对虚假新闻的自动检测。

    基于风格引导的双线性神经网络虚假新闻检测方法及系统

    公开(公告)号:CN110210016A

    公开(公告)日:2019-09-06

    申请号:CN201910341056.6

    申请日:2019-04-25

    Abstract: 本发明提出一种基于风格引导的双线性神经网络虚假新闻检测方法及系统,包括:获取待网络虚假新闻检测的新闻文本,通过神经网络量化该新闻文本的语言风格特征,得到该新闻文本的风格向量,将该新闻文本输入文本特征提取器,得到该新闻文本的文本向量;将该风格向量和该文本向量输入双线性神经网络,该双线性神经网络包括双线性函数,用于建模该风格向量和该文本向量之间的相关性,以得到该新闻文本的的风格-文本特征矩阵,使用该风格-文本特征矩阵中最大分数向量组成引导向量,并将该引导向量输入至全连接层,判定该新闻文本的虚假新闻标签。本发明依据虚假新闻共性的语言风格来引导深度学习模型的学习过程,提升了模型的识别准确度与泛化性能。

    一种用户自生产内容检测方法和系统

    公开(公告)号:CN110019812A

    公开(公告)日:2019-07-16

    申请号:CN201810164771.2

    申请日:2018-02-27

    Abstract: 本发明涉及一种用户自生产内容检测方法和系统,包括:获取社交媒体中用户自生产内容的文本内容、图像内容和社交属性,并从文本内容中抽取词向量特征,从社交属性中抽取社交属性特征以及从图像内容中抽取图像特征;通过递归神经网络融合词向量特征和社交属性特征,得到文本、社交融合特征;根据递归神经网络得到注意力向量,并通过注意力机制将图像特征处理为注意力融合特征,将注意力融合特征与文本、社交融合特征相融合,生成多模态融合特征;利用多模态融合特征训练分类器,以检测社交媒体中指定的用户自生产内容。本发明通过深度神经网络,融合内容检测涉及的多种模态内容,能够全面地进行用户自生产内容检测,得到更加准确的检测结果。

Patent Agency Ranking