一种多粒度文本表示和图文融合的视觉问答方法及系统

    公开(公告)号:CN114925703B

    公开(公告)日:2024-09-10

    申请号:CN202210667045.9

    申请日:2022-06-14

    Abstract: 本发明涉及一种多粒度文本表示和图文融合的视觉问答方法及系统,包括以下步骤:获得图片和与图片对应的问题文本,得到图片特征;通过层级扩张卷积提取问题文本中不同级别的句子信息形成文本特征;将得到的图片特征和文本特征进行向量拼接后,经Transformer层融合不同模态的高阶特征得到自适应融合特征向量,经线性变换转换为候选答案维度,通过预测函数得到答案的预测结果。在文本特征表示中进行多层次的文本信息描述保留文本的多层次特征,使用图文自适应融合的方式融合不同模态的高阶特征向量,从多个层面准确的表达问题主题和含义,融合后能够动态的计算图像文本的注意力权重,以便更好的预测答案。

    一种基于双Transformer融合模型的多模态事件检测方法及系统

    公开(公告)号:CN116611021A

    公开(公告)日:2023-08-18

    申请号:CN202310438031.4

    申请日:2023-04-19

    Abstract: 本发明提出了一种基于双Transformer融合模型的多模态事件检测方法及系统,涉及计算机应用技术领域,分别使用中文预训练ALBERT模型和S‑CBAM‑VGG模型从社交媒体文本内容和图像内容中,提取文本特征和图像特征;利用双层Transformer特征互动融合网络,捕获不同模态间的异质性差异和跨模态的关联关系,对文本特征和图像特征进行融合,得到多模态特征;基于得到的多模态特征,识别相关性事件,并捕获事件不变性特征,对识别出来的相关性事件进行分类;本发明设计了一种基于图像和语言双Transformer融合模型,有效地融合不同模态的数据,对多模态数据进行检测,使得相关事件的筛选和分类结果更加准确。

    基于联想记忆神经网络的多模态资源均衡方法及系统

    公开(公告)号:CN115761436A

    公开(公告)日:2023-03-07

    申请号:CN202211391363.3

    申请日:2022-11-08

    Abstract: 本发明提供一种基于联想记忆神经网络的多模态资源均衡方法及系统,涉及多模态数据处理技术领域,该方法包括:获取多模态数据;提取文本模态数据的原始文本特征,以及提取图像模态数据的原始图像特征;将原始文本特征输入至预先训练好的双向联想记忆神经网络模型中,得到图像结构表示,将原始图像特征输入至双向联想记忆神经网络模型中,得到文本结构表示;对原始文本特征与文本结构表示进行拼接,得到联合文本特征,以及对原始图像特征与图像结构表示进行拼接,得到联合图像特征,以解决强弱模态不均衡或模态缺失等资源不均衡问题,实现多模态知识表示模型在模态缺失及不均衡情况下的自适应调整。

    一种基于卷积和残差网络的HER2图像分类方法及系统

    公开(公告)号:CN112560968B

    公开(公告)日:2022-08-19

    申请号:CN202011516498.9

    申请日:2020-12-21

    Abstract: 本发明公开了一种基于卷积和残差网络的HER2图像分类方法及系统,所述图像分类方法包括:从组织微阵列数据库中获取多张带注释的HER2图像,作为初始数据样本;采用裁剪函数对每个初始数据样本分别进行裁剪,建立扩展数据样本集;利用扩展数据样本集对卷积和残差网络进行训练,获得训练后的卷积和残差网络,作为HER2图像分类模型;将待分类的HER2图像输入HER2图像分类模型,获得待分类的HER2图像的分类结果。本发明利用裁剪函数获得更多的HER2图像,以克服HER2图像数据量上无法满足训练要求的技术缺陷,并利用卷积和残差网络实现HER2图像分类,避免了现有的神经网络模型的过拟合现象,实现了在数据量较少的情况下,实现利用神经网络模型对HER2图像进行自动准确地分类。

    基于类残差卷积和LSTM的COVID-19识别系统

    公开(公告)号:CN113537279A

    公开(公告)日:2021-10-22

    申请号:CN202110540822.9

    申请日:2021-05-18

    Inventor: 王新刚 吕建东

    Abstract: 本公开提供了一种基于类残差卷积和LSTM的COVID‑19识别系统,所述方案能够有效地提取图像的多抽象层次的特征;且创新性的将类似与残差网络的思想与卷积神经网络结合使用,在一定程度上防止梯度爆炸与网络退化;在特征融合过程中,创新性的使用LSTM中的门控机制对多抽象层次的特征矩阵进行“选择性记忆”,在融合特征的同时有效的降低了多抽象层次的特征之间的冗余所带来的影响,对图像中的有效特征进行了充分提取,进而提高了图像分类识别的精度。

    一种远程中医诊断系统及诊断信息处理方法

    公开(公告)号:CN109830307A

    公开(公告)日:2019-05-31

    申请号:CN201910271740.1

    申请日:2019-04-04

    Abstract: 本公开提出了一种远程中医诊断系统及诊断信息处理方法,通过设置相互连接的患者端的智能脉象采集装置和医生端的智能脉象模拟装置,用于实现远程中医诊疗中的脉象采集、传输和模拟功能,将患者的脉象信息转化为装置中的电磁推杆的运动,实现了医生的远程手触摸切脉,实现远程诊脉,设置了采集气味信息的电子鼻,同时设置的分光辐射亮度计实时采集图像采集时的环境数据,能够实现利用采集的环境数据对采集的图像进行处理,从而降低图像的失真度,能够提高远程中医闻和望的诊断信息的准确性。

    一种改进的抽取中文商品评论中评价对象的方法

    公开(公告)号:CN105069647A

    公开(公告)日:2015-11-18

    申请号:CN201510457338.4

    申请日:2015-07-30

    Abstract: 本发明公开了一种改进的抽取中文商品评论中评价对象的方法,其具体实现过程为,首先获取网络上的网络评论;将获取的网络评论文本进行预处理;对经过预处理的文本进行文本聚类,人工选取抽取候选评价对象;在候选评价对象中通过Bootstrapping方法抽取评价对象。该改进的抽取中文商品评论中评价对象的方法与现有技术相比,能够有效避免了人工选择属性词的局限性,提高对中文商品评价中评价对象的准确度,使得评价对象属性词抽取的准确率、覆盖率和可移植性得到提高,实用性强,易于推广。

    基于多核协同学习和深度信念网络的特征提取方法及系统

    公开(公告)号:CN114913380B

    公开(公告)日:2024-10-29

    申请号:CN202210675331.X

    申请日:2022-06-15

    Abstract: 本发明公开了一种基于多核协同学习和深度信念网络的特征提取方法及系统,包括:获取人脸表情图像信息,将所述人脸表情图像信息输入到训练好的深度信念网络,得到人脸表情分类结果;其中,对于深度信念网络的训练过程包括:将三张同一个人脸不同角度的图像分别放入三个DBN网络,三个DBN网络根据视野的不同来提取同一个人脸图像的三个不同特征,将提取到的特征分别放入与DBN网络连接的分类器中,利用小于设定数量的已标记的样本和大于设定数量的未标记样本对多个分类器进行协同训练。本发明实现了利用大量未标记样本进行分类器训练的目的,降低了DBN对人工标记样本的依赖,提高了深度信念网络的实用性。

Patent Agency Ranking