公开(公告)号：CN118779409A

公开(公告)日：2024-10-15

申请号：CN202310348845.9

申请日：2023-04-04

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  肖仰华 ,  郭放

IPC: G06F16/332 ,  G06F16/36 ,  G06F16/335 ,  G06N5/025 ,  G06N3/042 ,  G06N3/094

Abstract: 本发明提供了一种人设常识知识图谱、人设对话数据集以及人设一致方法，具有这样的特征，包括以下步骤：步骤S1，选取人类自身特性和日常生活内容中的人设属性设定为画像键；步骤S2，通过人工富集，从互联网平台搜索画像键对应的具体百科数据作为画像值；步骤S3，对所有画像键，将相互关联的两个不同画像键构成画像键对，得到多个画像键对；步骤S4，对每个画像键对，根据画像键对中两个画像键对应的画像值构建画像值对；步骤S5，根据画像值对，通过人工标注得到对应的画像，所有画像构成人设常识知识图谱。总之，本方法能够处理对话中存在的基于常识知识的隐式人设冲突。

公开(公告)号：CN118467562A

公开(公告)日：2024-08-09

申请号：CN202310090344.5

申请日：2023-02-09

Applicant: 复旦大学

Inventor： 黄君扬 ,  王振宇 ,  梁家卿 ,  郭放 ,  肖仰华

IPC: G06F16/242 ,  G06F16/2452 ,  G06N3/047 ,  G06N3/048 ,  G06N3/08 ,  G06N3/0442

Abstract: 本发明提供一种基于自裁剪异构图的自然语言转结构化查询方法，首先基于专家知识的异构图构建规则使用数据库模式和问句来构建异构图，并融入了专家知识形成的规则来约束异构图中边的构建，相比全量异构图拥有更少但是更加重要的信息，更好地建模了问句与数据库模式之间的联系，能够促进模型学习到正确的SQL语言特征，提升模型的准确率和执行率。然后针对数据库模式中元素的重要程度问题，提出一种自裁剪机制，根据二分类模型判断异构图中节点与问句的是否存在关联，并裁剪掉图中与问句无关的节点和边，帮助模型剔除与问句相对无关的信息，从而实现了精细化的数据过滤，减少了结构化模式信息中无用信息的噪声，提升了模型的检索响应速度与准确率。

公开(公告)号：CN117708318A

公开(公告)日：2024-03-15

申请号：CN202311856147.6

申请日：2023-12-29

Applicant: 复旦大学

Inventor： 陈昱妍 ,  肖仰华 ,  李直旭 ,  郭放

IPC: G06F16/34 ,  G06F16/33 ,  G06F40/289 ,  G06N20/00 ,  G06N3/092

Abstract: 本发明提供了一种具有图像子图数量适应性的模因图配文生成方法及装置，具有这样的特征，包括：步骤S1，根据现有的多个模因图构建中文模因数据集，中文模因数据集包括多个图片和配文；步骤S2，根据中文模因数据集对现有的大语言模型进行训练，得到最终大语言模型和强化学习模型；步骤S3，将指定图像输入现有的多模态大模型，得到指定幽默链和指定图像特征；步骤S4，将指定幽默链和指定图像特征输入最终大语言模型，得到初始配文；步骤S5，将初始配文输入强化学习模型，得到最终配文。总之，本方法能够生成更匹配模因图的幽默配文。

公开(公告)号：CN117391216A

公开(公告)日：2024-01-12

申请号：CN202311195451.0

申请日：2023-09-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华 ,  郭放

IPC: G06N20/00 ,  G06F40/20

Abstract: 本发明属于大规模语言模型技术领域，具体为大规模语言模型自适应提示增强方法。本发明针对NLP领域的LLMs优化原始提示，以使其在各种下游任务中表现更好；包括：针对不同的语言模型，生成最适合其特性的提示，以提高性能；通过引入强化学习等自动化或半自动化方法，实现提示优化流程的简化和高效化；建立训练数据集并利用强化学习等技术优化提示。其中结合有监督的微调、强化学习、PPO和RRHF等方法。本发明具有良好的鲁棒性和泛化性，并能在各种下游任务中改善语言模型的性能，可以有效地提升prompt的质量，使得大模型产生更准确的回答；可与现有的大规模语言模型结合使用，通过微调和优化提升特定任务的表现，具有广泛的可扩展性和适应性。

公开(公告)号：CN114510610A

公开(公告)日：2022-05-17

申请号：CN202210188998.7

申请日：2022-02-28

Applicant: 复旦大学

Inventor： 蒋雪瑶 ,  肖仰华 ,  李直旭 ,  梁家卿 ,  郭放

IPC: G06F16/901 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种面向多模态知识图谱构建的识别视觉概念的方法，第一次显式地提出在面向多模态知识图谱构建过程中有针对地识别视觉概念这一问题，将该问题建模为一个二分类问题，筛选并设计了解决该分类问题所需的特征数据，从而构建出了一个双流的含BERT模型和图像分类模型的多模态分类模型，用来编码和融合待测概念的文本特征和图像特征，从而达到区分视觉概念和非视觉概念的目的。同时，该多模态分类模型采用了二阶段的PULearning的训练方法，用纯自动化的方式实现了训练数据的初始化，用自训练的思想在迭代中自动化地有效地扩充训练数据集，在扩充的过程中也完全规避了人工的手段且提升了分类网络的准确率。

公开(公告)号：CN117744626A

公开(公告)日：2024-03-22

申请号：CN202311195450.6

申请日：2023-09-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华 ,  郭放

IPC: G06F40/20 ,  G06F16/35 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明属于机器高阶认知技术领域，具体为机器高阶认知的预训练语言模型幽默回复能力增强方法。本发明方法包括：建立常规文本和幽默文本之间的联系，包括构建一个由若干条上文‑幽默回复组成的可解释数据集，每一个上文‑幽默回复对都有一个幽默链和幽默思维导图，展示生成幽默回复需要的知识和逻辑推理过程；评估和提高预训练语言模型的幽默回复能力，包括设计幽默情感风格分类任务和幽默改写任务，作为以多任务训练的方式辅助幽默回复；设计编码器‑解码器框架，将幽默链和幽默思维导图注入预训练语言模型中，并基于多任务学习的方式利用两个辅助任务增强预训练语言模型的幽默回复能力。本发明可大大增强预训练语言模型的幽默回复能力。

公开(公告)号：CN117390409A

公开(公告)日：2024-01-12

申请号：CN202311195452.5

申请日：2023-09-17

Applicant: 复旦大学

Inventor： 陈昱妍 ,  李直旭 ,  梁家卿 ,  肖仰华 ,  郭放

IPC: G06F18/21 ,  G06N5/04 ,  G06F18/27 ,  G06F18/2431 ,  G06F18/2415

Abstract: 本发明属于大规模语言模型技术领域，具体为一种大规模语言模型生成答案可靠性检测方法。本发明通过构建一个鲁棒的判别器RelD来检测大规模语言模型生成答案的可靠性，包括构建训练数据集RelQA，该数据集包括现有多个数据集的问题、上下文和大规模语言模型生成的答案以及多种评估指标；将RelQA作为输入，结合预训练语言模型，使用加权平均概率方法拟合生成答案的人工标注，来训练判别器RelD；判别器RelD对大规模语言模型生成的答案进行二分类，以此判断生成的答案的可靠性。本发明能够提供更全面、准确的评估结果，更好地反映出生成答案的质量；可以适用于不同的大型语言模型和应用场景，具有较强的可扩展性。