公开(公告)号：CN119783818A

公开(公告)日：2025-04-08

申请号：CN202411843860.1

申请日：2024-12-14

Applicant: 东南大学

Inventor： 王禄生 ,  苗泽一 ,  毕胜 ,  李政 ,  常伟杰

IPC: G06N5/04 ,  G06N5/022 ,  G06F16/3329 ,  G06F16/36

Abstract: 本发明公开了一种基于知识图谱和大语言模型的后续问题生成方法，主要用于在对话系统中生成后续问题，帮助用户探索信息并提供更好的用户体验。本发明对于给定的历史问答信息，首先进行意图识别，扩展相关背景知识，从对话中提取关键词，并构造查询以检索最相关的维基百科页面。接下来，本发明以页面对应的实体为中心构建实时知识图谱。然后，基于节点重要性和相关度两个维度选出与当前对话最相关的节点，从而确定需要引入的外部背景知识。这使得模型可以访问更广泛的知识资源，提高所生成问题的深度和相关度。最后，本发明设计了一个知识融合操作，通过指示大语言模型基于上下文继续编写先前获取的外部维基百科知识，进一步增强模型对上下文的理解和认知，指导后续问题生成。一系列实验表明，本发明方法在后续问题生成任务上具有较高的整体性能，可以生成信息更丰富、认知复杂度更高的问题，并有助于将对话推向更深层次。

公开(公告)号：CN117035077A

公开(公告)日：2023-11-10

申请号：CN202310978822.6

申请日：2023-08-04

Applicant: 东南大学

Inventor： 毕胜 ,  苗泽一

IPC: G06N5/022 ,  G06F16/35 ,  G06F16/36 ,  G06N5/04

Abstract: 本发明公开了一种基于软模板和反事实推理的难度可控问题生成方法，主要用于根据指定的难度标签有效地生成相应难度水平的问题。本发明对于给定的子图，首先设计一个启发式模板将其中的三元组转化为自然语言表达，并将子图的实体和关系的本体信息填入模板中强化输入。然后提出一种难度评估方法，使用该方法将数据集中的问题划分成简单和复杂两个类别。接着利用预训练语言模型，在不同难度等级的数据集上初始化软模版，用于指导问题生成，确保问题的语法正确性和难度匹配性。并使用混合专家模型选择软模版，以平衡对生成问题的难度控制需求和多样化。最后基于反事实推理生成问题，强化输入和输出之间的因果关联。

公开(公告)号：CN116975234A

公开(公告)日：2023-10-31

申请号：CN202310951461.6

申请日：2023-07-31

Applicant: 东南大学

Inventor： 苗泽一 ,  毕胜

IPC: G06F16/332 ,  G06F16/36 ,  G06N5/02

Abstract: 本发明公开了一种基于模块化对偶学习的知识图谱问答和问题生成方法，主要用于将知识图谱问答任务和问题生成任务联合学习，提高彼此的性能。本发明对于特定任务的给定输入，首先通过一个离散的隐变量以混合专家的方式产生一个路由选择器。然后通过路由选择器和给定的上下文生成一个适应当前任务的共享网络结构，这些共享的神经网络层具有相同的结构和参数量，在组成新的网络结构时，可以被放在串联路径上的不同位置，而且可以被重复使用。最后，提出一种衡量共享网络是否需要纳入当前任务计算过程的评估方法，自适应引入对偶任务的归纳偏置来改善当前模型，提高模型的性能。

公开(公告)号：CN119760113A

公开(公告)日：2025-04-04

申请号：CN202411843859.9

申请日：2024-12-14

Applicant: 东南大学

Inventor： 李政 ,  王禄生 ,  苗泽一 ,  毕胜 ,  常伟杰

IPC: G06F16/334 ,  G06F16/35 ,  G06N5/04

Abstract: 本申请公开了一种基于多视角聚类和混合检索的法律概念解释方法，该方法首先将用户输入解析成为法律概念。其次，通过多视角聚类方法抽取具有多样性的相关法律案例，而后提取这些法律案例中涉及到的法律条文并在数据库上检索，并使用大语言模型检索生成用户查询可能涉及到的法律条文(即混合检索步骤)。之后，在法律概念数据库上检索解析概念的具体定义，并且搜索相关法律案例和法律条文中给出的关键词信息，将这些关键词作为相关概念并检索，将解析概念和关键词的集合作为总相关概念集合。最后，将相关概念和相关法条组织成为提示输入到大语言模型生成初始结果，接下来将生成结果和输入提示以及初始问题投入到大语言模型中进行反思，进而生成最终结果，并将法律案例附在生成结果后输出给用户查看。

公开(公告)号：CN118964942A

公开(公告)日：2024-11-15

申请号：CN202411059019.3

申请日：2024-08-02

Applicant: 东南大学

Inventor： 苗泽一 ,  由林凡 ,  郭家成 ,  李雨成

IPC: G06F18/213 ,  G06F18/214 ,  G06F17/16 ,  G06N5/04

Abstract: 本发明公开了基于结构感知及逐步蒸馏的多跳常识生成方法，具体如下：首先通过基于结构感知的编码器，将自然语言形式表述的前提原子集合映射到一个图结构中，使得模型更准确地捕获实例之间的复杂关系。此外，基于逐步蒸馏提取大模型阐述推理依据的能力，通过少样本思维链提示学习的方式，接着，将上述依据作为额外的信息来源，进行小模型的多任务训练。小模型不仅能够综合考虑多个前提原子，生成正确性较高的假设原子，还能够输出有助于其理解多跳常识推导过程的依据，从而提升多跳常识生成效果。最后，通过大语言模型构建了多跳常识数据集，具有较高的整体性能，生成更为复杂且流畅的假设原子，并维持了较高的正确性与多样性。

公开(公告)号：CN119848214A

公开(公告)日：2025-04-18

申请号：CN202510071938.0

申请日：2025-01-16

Applicant: 东南大学

Inventor： 王禄生 ,  苗泽一 ,  毕胜 ,  李政 ,  常伟杰

IPC: G06F16/3329 ,  G06N20/00 ,  G06F21/62 ,  G06F16/334 ,  G06F40/216

Abstract: 本发明公开了一种基于信息检索和大语言模型驱动的机器遗忘学习方法，用于在法律领域中对知识丰富的大语言模型进行遗忘学习。对于给定的用户查询，重新定义了遗忘学习任务，采取不改动模型参数的方式，通过为模型添加禁止访问遗忘集的权限，从而使模型拒绝回答有关遗忘集的信息，达到遗忘学习目标。首先通过混合检索机制将用户查询在遗忘集语料中执行信息检索。然后基于本发明设计的重排序器，将检索出的段落按照相关性重新排序。接着将最相关的前n个段落输入到基于大语言模型的校验器中进行校验，进一步明确用户查询是否涉及遗忘集的信息。本发明方法在遗忘学习任务上具有较高的整体性能，能够在实现精准可靠的遗忘学习的同时，兼顾效率与成本。

公开(公告)号：CN118966358A

公开(公告)日：2024-11-15

申请号：CN202411059018.9

申请日：2024-08-02

Applicant: 东南大学

Inventor： 苗泽一 ,  徐义涵 ,  李政

IPC: G06N5/04 ,  G06N3/0895 ,  G06F18/214 ,  G06F18/2431

Abstract: 本发明公开了一种基于知识增强和半监督校验的常识推理方法，主要用于常识生成，帮助人们更好地理解数据和知识。本发明对于给定的前提原子[X]t[Y]，首先尝试进行关系对齐。其次，构建提示模板，进行融入本体信息的常识预生成，接着，进行基于正样本和无标签学习的无监督后校验，根据少量正确常识推理样本和大量无标记常识样本训练校验二元分类器，以减轻预训练语言模型知识幻觉的影响。最后，本发明扩充了常识数据集完成对本发明所述模型的训练与测试，并通过一系列实验验证所述方法的有效性。进一步的消融实验表明，本发明的方法在有效降低常识生成错误率的同时，保持了生成常识的多样性。