公开(公告)号：CN110532395B

公开(公告)日：2021-09-28

申请号：CN201910395662.6

申请日：2019-05-13

Applicant: 南京大学

Inventor： 张雷 ,  唐思雨 ,  潘元元 ,  路千惠 ,  谢俊元

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/211 ,  G06F40/242 ,  G06F40/30 ,  G06F40/284 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于语义嵌入的词向量改进模型的建立方法，包含如下步骤：1)双向长短期记忆网络训练阶段；2)上下文向量计算阶段：将句子和目标单词t输入步骤1训练好的双向长短期记忆网络中，求得上下文向量；3)上下文向量语义聚类阶段：a使用余弦相似度计算当前的上下文向量和单词t每个语义簇中心相似度；b使用贝叶斯非参数统计模型计算当前上下文向量归属为的类簇的概率P；c最大化P值并求出该值对应的类簇；c对当前上下文向量归属的类簇中心进行偏移；4)语义向量计算阶段。本发明利用神经网络和贝叶斯非参数统计方法为解决了当前词向量模型无法解决单词存在的一词多义问题。

公开(公告)号：CN110532395A

公开(公告)日：2019-12-03

申请号：CN201910395662.6

申请日：2019-05-13

Applicant: 南京大学

Inventor： 张雷 ,  唐思雨 ,  潘元元 ,  路千惠 ,  谢俊元

IPC: G06F16/36 ,  G06F16/35 ,  G06F17/27 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于语义嵌入的词向量改进模型的建立方法，包含如下步骤：1)双向长短期记忆网络训练阶段；2)上下文向量计算阶段：将句子和目标单词t输入步骤1训练好的双向长短期记忆网络中，求得上下文向量；3)上下文向量语义聚类阶段：a使用余弦相似度计算当前的上下文向量和单词t每个语义簇中心相似度；b使用贝叶斯非参数统计模型计算当前上下文向量归属为的类簇的概率P；c最大化P值并求出该值对应的类簇；c对当前上下文向量归属的类簇中心进行偏移；4)语义向量计算阶段。本发明利用神经网络和贝叶斯非参数统计方法为解决了当前词向量模型无法解决单词存在的一词多义问题。