多视角特征聚合的目标检测方法

    公开(公告)号:CN118154854B

    公开(公告)日:2024-07-30

    申请号:CN202410565082.8

    申请日:2024-05-09

    Inventor: 宋彦 张勇东

    Abstract: 本发明公开了多视角特征聚合的目标检测方法,涉及图像识别技术领域,通过目标检测模型从自然图像中识别出目标区域对应的位置和类别信息;目标检测模型的训练过程如下:构建训练集;对训练集中的图像进行多视角提取,生成多视角特征,将多视角特征串联得到多视角特征向量,所述多视角特征包括全局视觉特征、局部视觉特征、跨模态视觉特征;将多视角特征向量、全局视觉特征、局部视觉特征以及跨模态视觉特征输入到跨视角注意力特征聚合模块中,得到聚合后特征;将聚合后特征输入到目标检测模块中,生成目标区域的预测坐标值和预测类别标签;构建总损失函数,更新目标检测模型中的模型参数;该目标检测方法有效提升了对目标区域的检测准确率。

    一种基于控制噪声扩散网络的目标检测方法

    公开(公告)号:CN117992927B

    公开(公告)日:2024-07-05

    申请号:CN202410405242.2

    申请日:2024-04-07

    Inventor: 宋彦 张勇东

    Abstract: 本发明涉及目标检测技术领域,公开了一种基于控制噪声扩散网络的目标检测方法,对输入信息进行目标检测,得到目标检测结果,包括:对数据集中的输入信息进行预处理,得到一系列无关信息,将无关信息记作输入信息的噪声信号;对数据集中的所有输入信息重复上述过程,得到噪声信号总集合;对噪声信号总集合进行随机采样,得到噪声信号;将噪声信号转换成噪声表征;对各噪声表征进行线性加权和归一化操作,得到综合噪声信号;利用目标检测网络提取输入信息的关键信息;将与无关信息相链接的综合噪声信号以及关键信息作为扩散网络的输入,计算得到强化的数字化表征;通过综合考虑噪声和目标检测,提高了模型在感兴趣目标物体的识别和定位能力。

    基于病理对齐扩散网络的医疗多模态内容分析及生成方法

    公开(公告)号:CN117557883B

    公开(公告)日:2024-07-05

    申请号:CN202410048581.X

    申请日:2024-01-12

    Abstract: 本发明公开了基于病理对齐扩散网络的医疗多模态内容分析及生成方法,将给定图像输入到融合检测模型中,以生成与给定图像相匹配的文本报告;所述融合检测模型的训练过程如下:S1:构建训练集,并将训练集中的图像#imgabs0#输送到融合检测模型;S2:提取图像#imgabs1#的图像特征#imgabs2#;S3:将图像特征#imgabs3#与不同粒度的病理信息进行对齐,获得对齐特征#imgabs4#;S4:将对齐特征#imgabs5#进行特征增强得到增强特征#imgabs6#,将对齐特征#imgabs7#和增强特征#imgabs8#相加后进行归一化操作得到归一化特征#imgabs9#,基于归一化特征#imgabs10#指导文本生成,得到文本报告;该医疗多模态内容分析及生成方法,解决现有基于自回归式的方法容易出现的错误传播问题,提高生成报告的质量。

    一种结合记忆网络和扩散网络的图像到长文本生成方法

    公开(公告)号:CN117612170A

    公开(公告)日:2024-02-27

    申请号:CN202410090494.0

    申请日:2024-01-23

    Inventor: 宋彦 刘畅 张勇东

    Abstract: 本发明涉及图像描述文本生成技术领域,公开了一种结合记忆网络和扩散网络的图像到长文本生成方法,对于给定图像产生描述文本,包括以下步骤:利用视觉编码器提取图像的视觉特征;利用语义概念预测器处理视觉特征,得到图像的语义特征向量;通过语义条件记忆网络的记忆查询过程和记忆回应过程对语义特征向量进行加强,得到加强语义特征向量;利用扩散解码器处理视觉特征和加强语义特征向量,生成描述文本。本发明使用语义概念在图像到文本生成过程中传输基本的语义信息,并通过语义记忆网络来增强语义概念表示,以提供精确地控制,引导扩散网络生成全面而连贯的长文本。

    一种基于记忆网络的医疗多模态内容分析及生成方法

    公开(公告)号:CN117594184A

    公开(公告)日:2024-02-23

    申请号:CN202410082935.2

    申请日:2024-01-19

    Abstract: 本发明涉及放射报告分析与生成技术领域,公开了一种基于记忆网络的医疗多模态内容分析及生成方法,包括:利用图像提取器提取放射图像的视觉特征序列;将已生成影像报告文本输入到文本嵌入模块,得到文本特征序列;将文本特征序列与视觉特征序列作为记忆网络的输入;进行视觉特征与文本特征的记忆查询;根据记忆向量相对于视觉特征的重要性权重和记忆向量相对于文本特征的重要性权重,得到视觉特征的记忆响应以及文本特征的记忆响应;根据将视觉特征的记忆响应与文本信息的记忆响应输出当前的影像报告文本。本发明能够在不同模式和任务之间转移知识,从而提高图像标题和报告生成任务的性能。

    一种记忆驱动的医疗多模态内容分析及生成方法

    公开(公告)号:CN117558459A

    公开(公告)日:2024-02-13

    申请号:CN202410034568.9

    申请日:2024-01-10

    Inventor: 宋彦

    Abstract: 本发明公开了一种记忆驱动的医疗多模态内容分析及生成方法,将给定图像输送到目标检测模型中,以生成与给定图像对应的报告文字;所述目标检测模型的训练过程如下:S1:构建训练集,并将训练集中的图像输送到目标检测模型中;S2:对图像进行特征提取得到图像特征序列,并对所述图像特征系列进行编码,生成隐藏状态序列;S3:将目标检测模型中已生成文本输入到关系记忆模块中,以输出当前文本特征;S4:将隐藏状态序列、当前文本特征以及已生成文本输送到解码器,生成当前时间步的报告文字;该多模态内容生成方法可以生成更加准确和连贯的报告。

    一种基于噪声绑定扩散模型的对话摘要方法

    公开(公告)号:CN117131187B

    公开(公告)日:2024-02-09

    申请号:CN202311395915.2

    申请日:2023-10-26

    Abstract: 本发明涉及对话摘要生成技术领域,公开了一种基于噪声绑定扩散模型的对话摘要方法,训练过程包括:根据输入对话生成相应的询问信息;将询问信息和对话串联拼接输入对话编码器,得到询问感知的对话表征;随机生成噪声信息,并将人工标注的对话摘要转换为二进制的比特表征,使用噪声信息对进行扩散加噪处理,得到加噪表征;使用扩散编码‑解码器对加噪表征进行去噪处理,得到去噪的比特表征,将去噪的比特表征与比特表征对比得到扩散损失,通过扩散损失并使用反向传播算法更新扩散编码‑解码器的模型参数;通过使用基于噪声绑定的扩散编码‑解码器进行不同角色的摘要生成,能够有效地从对话中辨别出充当噪声的无关信息,提升生成摘要的质量。

    一种基于卷积联合模型的对话情感识别方法

    公开(公告)号:CN116258134B

    公开(公告)日:2023-08-29

    申请号:CN202310443460.0

    申请日:2023-04-24

    Abstract: 本发明公开了一种基于卷积联合模型的对话情感识别方法,所述卷积联合模型包括神经主题模型和注意力关系图网络模型,所述对话情感识别方法包括如下步骤:将对话中语句输入到已训练完成的卷积联合模型中,以输出对话中语句对应的情感类别;该对话情感识别方法充分利用了语句的隐含主题信息强化对话语句间的信息交互以及其特征表示,促进解码器预测出情感类别。

    一种基于文本组块的层级体系自动构建方法

    公开(公告)号:CN116187419B

    公开(公告)日:2023-08-29

    申请号:CN202310455626.0

    申请日:2023-04-25

    Abstract: 本发明涉及层级体系构建技术领域,公开了一种基于文本组块的层级体系自动构建方法,包括:将文本切分为单词;文本组块抽取;编码;文本组块表征;计算权重;计算文本组块重要性;构建单词表;构建层级体系;本发明基于神经网络模型,使用完全自动的方法从数据中抽取文本组块信息,构建体系节点及其连接;此外,本发明采用基于注意力图卷积神经网络的方法计算不同文本组块的重要性,实现基于重要性的体系节点分层。

    一种语义检索的打分函数构建方法及相关装置

    公开(公告)号:CN116226323A

    公开(公告)日:2023-06-06

    申请号:CN202211435299.4

    申请日:2022-11-16

    Abstract: 本申请实施例提供了一种语义检索的打分函数构建方法及相关装置。通过获取文本库文本和查询文本;对所述文本库文本和所述查询文本进行分词获得第一词语集合和第二词语集合,获取所述第一词语集合中每个词语的权重值;将所述第一词语集合和所述第二词语集合输入预训练BERT模型,获得第一词语向量集合和所述第二词语向量集合,根据第三词语集合、所述权重值、所述第一词语向量集合和所述第二词语向量集合确定检索分数,根据第一压缩向量、所述第二压缩向量和所述检索分数确定打分函数,如此,制定了语义检索的模型建模及训练流程,使得多文档语义检索任务的检索效果能够得到明显提升,主要体现在检索效率、检索准确性。

Patent Agency Ranking