基于语义对齐的神经网络自动摘要模型

    公开(公告)号:CN111552801A

    公开(公告)日:2020-08-18

    申请号:CN202010310307.7

    申请日:2020-04-20

    Inventor: 黄德根 吴世鑫

    Abstract: 本发明属于文本摘要自动生成技术领域,涉及基于语义对齐的神经网络自动摘要模型,是指在给定文本的条件下,利用训练产生的模型自动生成简短摘要。该模型在传统Sequence-to-Sequence模型的基础上,在编码器和解码器间加入语义对齐网络。语义对齐网络将源文本语义信息与摘要文本语义信息结合起来,通过联合训练,模型可以充分挖掘并利用参考摘要文本整体的语义信息,提高自动生成文本摘要的质量。

    一种基于汉语简单名词短语的汉语最长名词短语识别方法

    公开(公告)号:CN106021225B

    公开(公告)日:2018-12-21

    申请号:CN201610317795.8

    申请日:2016-05-12

    Inventor: 黄德根 田雪

    Abstract: 本发明属于人工智能的自然语言处理子领域,提供了一种基于汉语简单名词短语的汉语最长名词短语识别方法。包括如下步骤:S1数据预处理;S2选用SVM方法,训练汉语SNP识别模型,识别出汉语SNP;S3使用缩略替换方法简化文本,得到新的训练及测试语料;S4在经S3处理得到的新语料中,再次提取样本集,针对简化后的汉语MNP进行模型训练、识别;S5还原语料,还原后的汉语MNP为本方法最终识别结果。本发明的汉语MNP识别方法可以降低汉语MNP在自动识别中因其长度过长、语义及结构复杂等因素带来的不利影响,因此能有效提高汉语MNP的识别效果。

    一种基于信息熵和术语可信度的金融领域术语识别方法

    公开(公告)号:CN106095753B

    公开(公告)日:2018-11-06

    申请号:CN201610404892.0

    申请日:2016-06-07

    Inventor: 黄德根 梁晨

    Abstract: 本发明提出了一种基于信息熵和术语可信度的金融领域术语识别方法。本发明仅选择简单的特征,用CRF模型识别金融术语;在识别结果中根据基于边缘概率的信息熵公式,通过设定阈值筛选出属于特定错误类型的候选术语,对候选术语的处理更有针对性;过滤候选术语时将词转换为蕴含丰富语义信息的词向量,通过计算相似度与传统的互信息方法互为补充,可过滤得到大量的金融领域术语。利用本发明能有效避免现有机器学习模型过于繁琐的特征选择过程,后处理部分灵活而不局限于特定语料,不但有利于提高召回率,还能够提高术语结构的完整性,可作为通用的术语识别方法。

    一种用于宽带混沌激光储备池并行计算的装置

    公开(公告)号:CN105306042B

    公开(公告)日:2017-12-19

    申请号:CN201510854042.6

    申请日:2015-11-26

    Abstract: 本发明公开了一种用于宽带混沌激光储备池并行计算的装置,包括:2个光源部件(1)、2个混沌激光产生回路(2)和1个带宽增强链路(3),所述的2个光源部件(1)和2个混沌激光产生回路(2)一一对应连接,2个混沌激光产生回路(2)通过带宽增强链路(3)连接。本发明不但可以实现对两路输入信号进行并行处理,而且同时还可以增加激光混沌的带宽,使得混沌光的随机性更好,为储备池计算提供更丰富的非线性动力学状态,进而减小了系统输出结果的预测误差。

    一种基于信息熵和术语可信度的金融领域术语识别方法

    公开(公告)号:CN106095753A

    公开(公告)日:2016-11-09

    申请号:CN201610404892.0

    申请日:2016-06-07

    Inventor: 黄德根 梁晨

    CPC classification number: G06F17/2705

    Abstract: 本发明提出了一种基于信息熵和术语可信度的金融领域术语识别方法。本发明仅选择简单的特征,用CRF模型识别金融术语;在识别结果中根据基于边缘概率的信息熵公式,通过设定阈值筛选出属于特定错误类型的候选术语,对候选术语的处理更有针对性;过滤候选术语时将词转换为蕴含丰富语义信息的词向量,通过计算相似度与传统的互信息方法互为补充,可过滤得到大量的金融领域术语。利用本发明能有效避免现有机器学习模型过于繁琐的特征选择过程,后处理部分灵活而不局限于特定语料,不但有利于提高召回率,还能够提高术语结构的完整性,可作为通用的术语识别方法。

    一种基于多语言预训练编码器的多语言神经机器翻译方法

    公开(公告)号:CN117494731A

    公开(公告)日:2024-02-02

    申请号:CN202311298258.X

    申请日:2023-10-09

    Abstract: 一种基于多语言预训练编码器的多语言神经机器翻译方法,利用多个双语翻译词典构建多语言翻译词典,并利用随机替换的方式构建伪平行语料;在原始平行语料和伪平行语料基础上,利用对比学习算法对多语言预训练编码器的参数进行训练和优化,提升编码器输出表示的语言无关性;利用调优后的编码器对多语言翻译模型中的编码器参数进行初始化,在原始平行语料和伪平行语料上对多语言翻译模型中的解码器参数进行训练;对模型中的编码器和解码器参数进行微调,并在训练过程中引入对比学习损失。本发明通过融入显式的词级别对齐信息和句子级别的对比学习损失,提升了多语言预训练编码器在机器翻译任务上的跨语言迁移能力,提高了翻译质量。

    一种基于多模态对比学习的多语言语音神经机器翻译方法

    公开(公告)号:CN117494730A

    公开(公告)日:2024-02-02

    申请号:CN202311298001.4

    申请日:2023-10-09

    Abstract: 一种基于多模态对比学习的多语言语音神经机器翻译方法,利用多个双语翻译词典构建多语言翻译词典,在原始的语音识别数据基础上通过对文本中的词语进行随机替换的方式构建伪语音识别数据;在原始语音识别数据和构建的伪数据基础上,利用句子级对比学习算法对语音编码器和文本词嵌入层进行训练,将语音表示和文本表示映射到同一表示空间;利用词级别对比学习算法对语音编码器和文本词嵌入层进行继续训练,提升词级别跨语言跨模态对齐的准确率;利用训练好的语音编码器和文本词嵌入层对语音翻译模型进行初始化,在多语言翻译任务、语音识别、语音翻译任务上对多语言语音翻译模型中的参数进行训练。本发明利用显式词级别对齐信息和“粗粒度‑细粒度”对比学习算法,提升多语言语音翻译模型对于跨语言跨模态信息的对齐能力,从而提升多语言语音翻译的性能。

    一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法

    公开(公告)号:CN112650933A

    公开(公告)日:2021-04-13

    申请号:CN202110011006.9

    申请日:2021-01-06

    Abstract: 本发明公开了一种基于高阶聚合的图卷积融合多头注意力机制的会话推荐方法,属于推荐技术领域。对于每个会话序列构建单独的有向会话图,所有的会话图都使用共享项作为链接形成全局图作为输入。多层图卷积网络根据项目特征对其进行向量表示,并通过多头注意力机制得到会话图的全局偏好表示,同时将每个会话图中最后一个点击项的向量表示作为局部偏好表示。之后,全局偏好和局部偏好使用线性变换得到会话序列的最终表示,以此预测图中项目成为下一次点击的概率。本方法使用初始残差和恒等映射两个理论方法,解决多层图卷积网络带来的过度平滑问题,同时使用了多头注意力机制提升了模型的表达能力,提高了在会话中预测项目的准确率。

    一种基于循环神经网络的中文人名识别方法

    公开(公告)号:CN105868184A

    公开(公告)日:2016-08-17

    申请号:CN201610308475.6

    申请日:2016-05-10

    Inventor: 黄德根 徐新峰

    CPC classification number: G06F17/278 G06F17/2735 G06N3/02

    Abstract: 本发明提供了一种基于循环神经网络的中文人名识别方法,本发明包括:S1、语料预处理;S2、词向量训练,利用word2vec工具进行词向量训练;S3、中文人名识别模型训练,利用S1处理后得到的数据以及S2训练得到的词向量对神经网络模型进行训练。S4、人名识别以及后处理,利用S3训练得到的模型在测试语料上进行人名识别,并利用上下文规则,扩散算法对模型识别出来的人名进行后处理,最后得到人名。利用本发明能有效的降低在中文人名识别时特征选取的复杂性,通过词向量充分利用中文文本中蕴含的丰富的句法和语法信息,从而增加模型的泛化能力,并且同时识别了日本人名和外国音译人名,扩大了中文人名识别的广度。

    一种基于滑动语义串匹配的句法分析方法

    公开(公告)号:CN103500160B

    公开(公告)日:2016-07-06

    申请号:CN201310492589.7

    申请日:2013-10-18

    Inventor: 王伟 黄德根

    Abstract: 本发明属于计算机自然语言处理领域,涉及一种对人类自然语言句子进行高质量的句法分析的方法,具体是指一种基于滑动语义串匹配的句法分析方法。其特征是在建立规则库时,首先对通常短语句法树进行了层次的扁平化转换,然后对每一层的组块信息进行语义码标注,从而提取N元上下文有关文法的组块规则;在句法分析时,通过滑动语义串匹配模型匹配出最优的组块规则进行层叠组块式分析;通过错误修正模板在高层发现和修正低层中的错误,实现层叠组块式句法分析中的启发式回溯处理;通过在语义模板索引中直接加入模板信息,实现机器对新句法规则的即时学习。本发明解决了概率上下文无关文法(PCFG)型句法分析水平难进一步提高以及层叠组块型句法分析中难以选择正确的组块规则的难题,提高了现有句法分析水平。

Patent Agency Ranking