公开(公告)号：CN114298020B

公开(公告)日：2024-07-02

申请号：CN202111659209.5

申请日：2021-12-30

Applicant: 南京邮电大学

Inventor： 戴华 ,  胡正 ,  刘源龙 ,  陆佳行 ,  杨庚 ,  陈燕俐

IPC: G06F40/279 ,  G06F40/216 ,  G06F40/30 ,  G06F18/2321

Abstract: 本发明公开一种基于主题语义信息的关键词向量化方法及其应用，具体包括：首先利用Sentence‑BERT模型为每个文档生成具有文档语义信息的向量；再通过UMAP降维算法对生成的文档向量进行降维并突显局部语义特征；然后，在降维后的文档向量上进行HDBSCAN主题聚类，并将每个文档归类到一个或多个主题中；最后，利用文档和主题之间的关系，计算主题中每一个关键词的主题词频率‑逆主题频率(TTF‑ITF)得分，对该关键词与每个主题的主题词频率‑逆主题频率(TTF‑ITF)得分进行合并，生成最终的关键词向量。本发明实现高精度表征主题语义信息的关键词向量化，可应用于主题词提取、文本分类和文档检索。

公开(公告)号：CN114298020A

公开(公告)日：2022-04-08

申请号：CN202111659209.5

申请日：2021-12-30

Applicant: 南京邮电大学

Inventor： 戴华 ,  胡正 ,  刘源龙 ,  陆佳行 ,  杨庚 ,  陈燕俐

IPC: G06F40/279 ,  G06F40/216 ,  G06F40/30 ,  G06K9/62

Abstract: 本发明公开一种基于主题语义信息的关键词向量化方法及其应用，具体包括：首先利用Sentence‑BERT模型为每个文档生成具有文档语义信息的向量；再通过UMAP降维算法对生成的文档向量进行降维并突显局部语义特征；然后，在降维后的文档向量上进行HDBSCAN主题聚类，并将每个文档归类到一个或多个主题中；最后，利用文档和主题之间的关系，计算主题中每一个关键词的主题词频率‑逆主题频率(TTF‑ITF)得分，对该关键词与每个主题的主题词频率‑逆主题频率(TTF‑ITF)得分进行合并，生成最终的关键词向量。本发明实现高精度表征主题语义信息的关键词向量化，可应用于主题词提取、文本分类和文档检索。