一种面向科研立项查重的句向量生成方法及查重方法
摘要:
本发明公开了一种面向科研立项查重的句向量生成方法及查重方法。本发明句向量生成方法为:1)对于一科研项目申报书的文本进行分词,计算每一分词w的词频及词频权重;2)设置每一分词w的词性权重;3)根据分词w所在句子在所述文本中的位置,确定该句子中分词w的位置权重;4)根据各句子中分词的分词w的词频权重、词性权重和位置权重计算对应句子中分词w的词权重;5)根据分词w的词权重生成文本的句向量矩阵;6)去除句向量矩阵的前m个主成分,对句向量矩阵中的每一句向量进行更新;7)将科研项目申报书的文本输入Doc2Vec模型,生成文本的句向量并将其与步骤6)更新后的句向量加权平均,得到文本中每一句子对应的句向量。
0/0