公开(公告)号：CN117390157B

公开(公告)日：2025-05-06

申请号：CN202311341725.2

申请日：2023-10-17

Applicant: 北京计算机技术及应用研究所

Inventor： 刘琦 ,  杨雨婷 ,  余增文 ,  贺垚 ,  范昕煜 ,  田宗凯 ,  赵勤博

IPC: G06F16/3329 ,  G06F16/36 ,  G06F16/35 ,  G06F40/30

Abstract: 本发明涉及一种基于门控主题模型的无监督关键词抽取方法，属于人工智能、大数据、自然语言处理领域。本发明提出了一种语义自适应的文档语义表示方法，在整个语料库上训练一个神经主题模型来挖掘该领域的相关主题，并采用门控机制对文档主题进行独立加权，使具有较高语义丰富度的文档被分配相对更多的主题；利用文档主题信息设计了一种新的关键词评分算法，同时考虑了主题相似度与主题重要度对关键词评判的影响。通过这两方面因素的折衷，避免了对文本核心主题的过度关注，从而提高了所抽取关键词的多样性。

公开(公告)号：CN117521666B

公开(公告)日：2025-04-04

申请号：CN202311451928.7

申请日：2023-11-03

Applicant: 北京计算机技术及应用研究所

Inventor： 刘琦 ,  柯文俊 ,  贺垚 ,  王又辰 ,  宋颖毅 ,  栾真 ,  苗旭

IPC: G06F40/30 ,  G06F40/211 ,  G06F40/117 ,  G06F16/334 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及一种基于元学习扩散模型的限定域受限文本生成方法，属于人工智能、大数据、自然语言处理领域。本发明通过关键词抽取和在原始句子中随机插入特定的占位符标记[EMP]，构造大量训练样本；采用局部扩散的方式固定关键词，从而使扩散模型能够完成Hard‑CTG任务，并引入元学习策略对扩散模型训练过程进行优化；引入了另外一个特殊的标记[SLOT]用以指示MDM进行插入的位置，在逆扩散过程中，[SLOT]所标识的位置会逐步由标准高斯噪声转换为一个实际的单词或[EMP]，从而得到包含关键词输入的生成文本。本发明使得扩散模型可在条件文本生成领域发挥其强大的生成优势。

公开(公告)号：CN117521666A

公开(公告)日：2024-02-06

申请号：CN202311451928.7

申请日：2023-11-03

Applicant: 北京计算机技术及应用研究所

Inventor： 刘琦 ,  柯文俊 ,  贺垚 ,  王又辰 ,  宋颖毅 ,  栾真 ,  苗旭

IPC: G06F40/30 ,  G06F40/211 ,  G06F40/117 ,  G06F16/33 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明涉及一种基于元学习扩散模型的限定域受限文本生成方法，属于人工智能、大数据、自然语言处理领域。本发明通过关键词抽取和在原始句子中随机插入特定的占位符标记[EMP]，构造大量训练样本；采用局部扩散的方式固定关键词，从而使扩散模型能够完成Hard‑CTG任务，并引入元学习策略对扩散模型训练过程进行优化；引入了另外一个特殊的标记[SLOT]用以指示MDM进行插入的位置，在逆扩散过程中，[SLOT]所标识的位置会逐步由标准高斯噪声转换为一个实际的单词或[EMP]，从而得到包含关键词输入的生成文本。本发明使得扩散模型可在条件文本生成领域发挥其强大的生成优势。

公开(公告)号：CN117390157A

公开(公告)日：2024-01-12

申请号：CN202311341725.2

申请日：2023-10-17

Applicant: 北京计算机技术及应用研究所

Inventor： 刘琦 ,  杨雨婷 ,  余增文 ,  贺垚 ,  范昕煜 ,  田宗凯 ,  赵勤博

IPC: G06F16/332 ,  G06F16/36 ,  G06F16/35 ,  G06F40/30

Abstract: 本发明涉及一种基于门控主题模型的无监督关键词抽取方法，属于人工智能、大数据、自然语言处理领域。本发明提出了一种语义自适应的文档语义表示方法，在整个语料库上训练一个神经主题模型来挖掘该领域的相关主题，并采用门控机制对文档主题进行独立加权，使具有较高语义丰富度的文档被分配相对更多的主题；利用文档主题信息设计了一种新的关键词评分算法，同时考虑了主题相似度与主题重要度对关键词评判的影响。通过这两方面因素的折衷，避免了对文本核心主题的过度关注，从而提高了所抽取关键词的多样性。