公开(公告)号：CN113971837B

公开(公告)日：2024-08-20

申请号：CN202111255321.2

申请日：2021-10-27

Applicant: 厦门大学

Inventor： 陈毅东 ,  郑蒋滨 ,  史晓东

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774 ,  G06V10/762 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/08

Abstract: 一种基于知识的多模态特征融合的动态图神经手语翻译方法，属于计算机视觉、自然语言处理和手语语言学领域。包括步骤：1)对视觉属性的特征和文本属性的特征分别进行抽象，表示成图网络节点；2)利用半监督的方式对手语进行分割，获取伪标签序列；3)利用伪标签序列对齐图网络节点；4)构造多模态图编码器，融合视觉特征和文本特征；5)将多模态特征进行特征融合，输入至后续的多任务架构的机器翻译模型完成神经手语翻译过程。引入图神经手语翻译模型的概念，利用半监督的聚类算法实现手语分割，利用多模态输入信息以提高翻译性能，突破在低资源条件下手语的翻译瓶颈，能够将手语词汇注释文本作为外部手语专业知识应用至神经手语翻译模型。

公开(公告)号：CN116306703A

公开(公告)日：2023-06-23

申请号：CN202310386735.1

申请日：2023-04-12

Applicant: 厦门大学

Inventor： 史晓东 ,  宋佳欣 ,  陈毅东

IPC: G06F40/58 ,  G06N3/08 ,  G06F16/35 ,  G06F18/22 ,  G06F18/214 ,  G06F40/216 ,  G06N3/0464 ,  G06N3/0499

Abstract: 一种基于领域分类的反向翻译数据构建及训练方法，涉及自然语言处理、机器翻译、数据增强领域，基于原语料训练双语模型：使用Transformer神经网络模型，将双语原语料分别作为源端‑目标端和目标端‑源端训练两个神经机器翻译模型；2)基于关键词和主题相似性构建领域单语数据集；3)基于反向翻译生成领域伪平行数据集：将获取的领域单语数据集作为源端数据集，使用训练好的双语模型进行反向翻译获得伪句子对，整理对齐后形成领域伪平行数据集；4)基于领域分类学习的联合训练：将伪平行数据集标记为领域语料与通用数据进行联合训练。能在获取高质量的相关领域的知识的同时，有效利用通用领域知识，提高翻译性能，保证翻译质量。

公开(公告)号：CN114925694A

公开(公告)日：2022-08-19

申请号：CN202210513350.2

申请日：2022-05-11

Applicant: 厦门大学

Inventor： 陈毅东 ,  张国成 ,  钟恩俊 ,  史晓东

IPC: G06F40/295 ,  G06K9/62 ,  G06N3/04

Abstract: 一种利用实体判别信息来提高生物医学命名体识别的方法，涉及生物医学命名体识别。包括以下步骤：1)构建EJNER模型，将EJ任务和NER任务结合的方法，称之为EJNER；EJNER模型包括EJ模型、NER模型和特征融合模块；2)定义EJ任务并训练EJ模型；3)将EJ模型提取的特征和NER模型提取的特征通过相加、门控单元、多头注意力机制方法融合，利用融合后的特征进行预测。可缓解实体边界错误分类问题。不仅仅适用于BioNER任务，同样适用于一般的命名体识别任务。

公开(公告)号：CN114492796A

公开(公告)日：2022-05-13

申请号：CN202210122504.5

申请日：2022-02-09

Applicant: 厦门大学

Inventor： 陈毅东 ,  张国成 ,  史晓东

IPC: G06N3/08 ,  G06V20/40 ,  G09B21/00

Abstract: 一种基于语法树的多任务学习手语翻译方法，涉及手语翻译。包括以下步骤：1)获得口语句子的语法树，并构造数据集；2)搭建神经网络，主要分为编码器和解码器两部分；在编码器得到输入的抽象特征表示后，将其输入到解码器中进行解码；3)预测语法树的先序遍历序列、语法树每个节点的深度以及口语句子。通过多任务学习方式来提升模型的翻译性能。不仅适用于手语翻译的翻译过程，同样可以用于神经机器翻译任务。在翻译的鲁棒性上要好于基础Transformer模型。在模型解码过程中，不仅仅预测口语句子，还要预测其对应的语法树，通过硬参数共享，以便更充分的挖掘训练数据集中隐藏的深层信息，从而使得翻译模型的预测结果更加准确。

公开(公告)号：CN113971837A

公开(公告)日：2022-01-25

申请号：CN202111255321.2

申请日：2021-10-27

Applicant: 厦门大学

Inventor： 陈毅东 ,  郑蒋滨 ,  史晓东

IPC: G06V40/20 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774 ,  G06V10/762 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于知识的多模态特征融合的动态图神经手语翻译方法，属于计算机视觉、自然语言处理和手语语言学领域。包括步骤：1)对视觉属性的特征和文本属性的特征分别进行抽象，表示成图网络节点；2)利用半监督的方式对手语进行分割，获取伪标签序列；3)利用伪标签序列对齐图网络节点；4)构造多模态图编码器，融合视觉特征和文本特征；5)将多模态特征进行特征融合，输入至后续的多任务架构的机器翻译模型完成神经手语翻译过程。引入图神经手语翻译模型的概念，利用半监督的聚类算法实现手语分割，利用多模态输入信息以提高翻译性能，突破在低资源条件下手语的翻译瓶颈，能够将手语词汇注释文本作为外部手语专业知识应用至神经手语翻译模型。

公开(公告)号：CN102662931B

公开(公告)日：2015-03-25

申请号：CN201210111557.3

申请日：2012-04-13

Applicant: 厦门大学

Inventor： 陈毅东 ,  黄哲煌 ,  史晓东 ,  周昌乐

IPC: G06F17/27 ,  G06F17/30

Abstract: 一种基于协同神经网络的语义角色标注方法，涉及语义角色标注、模式识别和协同神经网络领域，涉及将协同神经网络原理引入到浅层语义分析的方法。从训练语料和测试语料中抽取特征，并构造相应的语义特征向量；对语义特征向量进行核变换，并在此基础上构造原型模式和待测试模式；构造序参量，对每个依存成分求若干个侯选角色；构建谓词库，对每个谓词对应的所有依存成分的候选角色进行组合，得到各个谓词的角色链；优化网络参数，进行协同神经网络的动力学演化，从而得到最优角色链，并输出标注模式。首次将协同神经网络原理引入到语义角色标注中，该方法广泛适应于各种自然语言处理任务中。具有较好的应用前景和应用价值。