一种基于多线索交互的跨模态图像描述方法

    公开(公告)号:CN117935293A

    公开(公告)日:2024-04-26

    申请号:CN202211245140.6

    申请日:2022-10-12

    Applicant: 东北大学

    Abstract: 本发明提供一种基于多线索交互的跨模态图像描述方法,涉及图像描述生成技术领域。该方法首选获取包括图像和描述文本的图像数据集,并对数据集进行预处理;再对预处理后的数据集中的图像、描述文本分别进行单模态特征提取,得到图像的场景特征和目标特征以及描述文本的文本特征;构建多线索层次化Transformer模型作为图像描述模型;使用训练集中的样本提取的场景特征、目标特征和文本特征对多线索层次化Transformer模型进行训练,得到训练好的图像描述模型;最后使用训练好的图像描述模型对待描述图像进行描述。该方法解决了图像为场景特征或者图像中不存在显著性目标等问题导致的描述文本质量不佳的问题。

    一种用于远程监督关系抽取的基于BERT和MLM的降噪方法

    公开(公告)号:CN113254429A

    公开(公告)日:2021-08-13

    申请号:CN202110525465.9

    申请日:2021-05-13

    Applicant: 东北大学

    Abstract: 本发明公开了一种用于远程监督关系抽取的基于BERT和MLM的降噪方法,涉及远程监督关系抽取技术领域。将实体对定义为源实体和目标实体;从各类别对应的目标实体中筛选出单子词实体,并根据其对应的句子不是噪声句子的可能性对这些句子排序并构成句子集;从各句子集选取正负样本为各类别建立数据集;基于数据集中句子的实体在BERT模型最后一层编码器输出的隐藏状态,提取句子的MASK‑lhs特征;利用全连接层捕获噪声句子与非噪声句子的MASK‑lhs特征差异来训练二分类器,将训练好的二分类器作为各类别的专用降噪器;将训练集中的所有句子按类别送入对应的降噪器,找出并剔除噪声句子。降噪器是即插即用的,具有实用性。

    一种面向学者的用户画像构建及应用方法

    公开(公告)号:CN110968782A

    公开(公告)日:2020-04-07

    申请号:CN201910976349.1

    申请日:2019-10-15

    Applicant: 东北大学

    Abstract: 本发明提供一种面向学者的用户画像构建及应用方法。首先,从国内学者的个人主页上获取学者基本信息,从国内外著名学术网站上获取学者的研究信息,在此基础上对上述信息进行预处理,从而获得构建学者画像所需的语料库;之后,通过对学者基本属性和研究属性的挖掘,构建学者画像;最后,基于学者画像,实现学者搜索与专家发现、论文审稿人推荐、合作学者推荐等应用。该发明对于学者寻找项目和论文工作的合作者、学术会议和期刊主办者寻找论文审稿人、以及刚刚从事一个新的研究领域的入门者寻找领域的资深学者,均具有支持和帮助作用。

    基于人脸识别和情绪推理链的多模态对话情绪识别方法

    公开(公告)号:CN119939414A

    公开(公告)日:2025-05-06

    申请号:CN202411982100.9

    申请日:2024-12-31

    Applicant: 东北大学

    Abstract: 本发明公开一种基于人脸识别和情绪推理链的多模态对话情绪识别方法,涉及多模态情绪识别领域。本发明通过人脸定位截取图片专注于人的面部区域,减少了计算量,提升了处理效率;通过定位人脸并聚焦于目标说话人的面部特征,减少背景噪声和环境干扰,提高识别精度;只提取目标人物的面部特征,能够更好地捕捉到人物的表情和情绪变化;设计的基于情绪推理链的模型训练方法,使用与微调的模型相比更为强大的闭源大模型生成情绪推理链,情绪推理链是一种基于对话历史的情绪推理过程,使用功能强大的大语言模型生成对话情绪分析的思考过程,通过模拟人类的情感推理过程,提高了情绪识别的准确性和可解释性,使得情绪分类结果的得出更加清晰。

    一种多层次特征增强的医疗对话摘要方法

    公开(公告)号:CN116127056A

    公开(公告)日:2023-05-16

    申请号:CN202211692317.7

    申请日:2022-12-28

    Applicant: 东北大学

    Abstract: 本发明提供一种多层次特征增强的医疗对话摘要方法,涉及医疗对话摘要技术领域。该方法首先获取医疗对话摘要数据,并对医疗对话摘要数据进行预处理,使这些数据满足统一的模型需求;再构建自动医疗对话摘要模型;医疗对话摘要模型使用指针生成网络做为基本架构,通过集成内注意力、说话人嵌入和话语语义,使用多级增强的输入特征表示来适应医学对话场景;最后训练构建的自动医疗对话摘要模型并进行测试。该方法能有效地提高医疗对话摘要模型的性能,增强医疗对话摘要的准确性。

    一种基于工具学习的多模态共情回复生成方法

    公开(公告)号:CN119938994A

    公开(公告)日:2025-05-06

    申请号:CN202510027568.0

    申请日:2025-01-08

    Applicant: 东北大学

    Abstract: 本发明提供一种基于工具学习的多模态共情回复生成方法,涉及共情对话生成技术领域。该方法构建基于工具学习的多模态共情回复生成框架TOOL‑STCIKERCONV,包括数据改造模块、工具调用模块以及评估训练模块;该方法通过对构建的对话数据集进行改造,使用插入特殊token方法,在表情包内容描述字段Prompt中添加含有特殊token的片段使得多模态基座模型具有思考表情包生成的能力,实现在隐向量空间中思考,让多模态基座模型学习主动调用表情包生成工具,解决了多模态共情对话生成领域大模型缺乏自主思考能力导致的表情包发送频率异常问题;此外,该方法利用即插即用的表情包生成工具,实现了表情包生成模型的迭代更新和更换不同风格文生图模型。

    一种面向学者的用户画像构建及应用方法

    公开(公告)号:CN110968782B

    公开(公告)日:2023-04-07

    申请号:CN201910976349.1

    申请日:2019-10-15

    Applicant: 东北大学

    Abstract: 本发明提供一种面向学者的用户画像构建及应用方法。首先,从国内学者的个人主页上获取学者基本信息,从国内外著名学术网站上获取学者的研究信息,在此基础上对上述信息进行预处理,从而获得构建学者画像所需的语料库;之后,通过对学者基本属性和研究属性的挖掘,构建学者画像;最后,基于学者画像,实现学者搜索与专家发现、论文审稿人推荐、合作学者推荐等应用。该发明对于学者寻找项目和论文工作的合作者、学术会议和期刊主办者寻找论文审稿人、以及刚刚从事一个新的研究领域的入门者寻找领域的资深学者,均具有支持和帮助作用。

Patent Agency Ranking