公开(公告)号：CN116450877A

公开(公告)日：2023-07-18

申请号：CN202310460960.5

申请日：2023-04-26

Applicant: 东北大学

Inventor： 于北溟 ,  杨振飞 ,  易秀双 ,  王宇 ,  鲍张军 ,  张晓燕

IPC: G06F16/583 ,  G06F18/214 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供一种基于语义选择与层次对齐的图像文本匹配方法，涉及多模态数据处理技术领域。针对模型的检索速度要求，本发明采用基于对齐的模型作为基本架构；针对模态特征对应关系的复杂性与模态内信息的冗余性，本发明利用门控注意力单元和自适应权重细粒度计算方法进行特征的选择与过滤；同时为了挖掘Transformer编码器的性能，本发明设计了一种跨模态层次对齐方法，优化了编码器，获得了高质量模态特征表示。本发明提出的方法旨在帮助对齐模型理解异构模态信息，在不增加额外交互的情况下，获得更高的检索性能。

公开(公告)号：CN116842150A

公开(公告)日：2023-10-03

申请号：CN202310628301.8

申请日：2023-05-31

Applicant: 东北大学

Inventor： 杨振飞 ,  冯时 ,  于北溟 ,  王大玲 ,  张一飞 ,  张天宝

IPC: G06F16/332 ,  G06F40/30 ,  G06F40/284 ,  G06F40/216 ,  G06F40/58 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/084

Abstract: 本发明提供一种基于对比学习的变分自编码器回复生成方法，涉及多轮对话生成技术领域。该方法在后验分布计算过程中引入了注意力机制，利用回复语句特征去对多轮对话的历史特征进行查询，选择和回复相关度较高的语句来进行后验分布的建模，来增强后验分布建模整个对话的能力，避免潜变量的退化。给定一个训练样本，通过数据增强构造与真实回复语义匹配度较高的正样本，通过随机采样构造匹配度低的负样本。利用对比学习规范潜变量空间，拉进变分自编码器的潜变量和多个正样本特征向量之间的距离，进而缓解数据集中缺少多样性回复数据的问题。

公开(公告)号：CN116127056A

公开(公告)日：2023-05-16

申请号：CN202211692317.7

申请日：2022-12-28

Applicant: 东北大学

Inventor： 张天宝 ,  冯时 ,  杨振飞 ,  王大玲 ,  张一飞

IPC: G06F16/34 ,  G06F40/126 ,  G06F40/35 ,  G06F40/289 ,  G06F40/216

Abstract: 本发明提供一种多层次特征增强的医疗对话摘要方法，涉及医疗对话摘要技术领域。该方法首先获取医疗对话摘要数据，并对医疗对话摘要数据进行预处理，使这些数据满足统一的模型需求；再构建自动医疗对话摘要模型；医疗对话摘要模型使用指针生成网络做为基本架构，通过集成内注意力、说话人嵌入和话语语义，使用多级增强的输入特征表示来适应医学对话场景；最后训练构建的自动医疗对话摘要模型并进行测试。该方法能有效地提高医疗对话摘要模型的性能，增强医疗对话摘要的准确性。