-
公开(公告)号:CN118378707B
公开(公告)日:2024-09-13
申请号:CN202410805095.8
申请日:2024-06-21
Applicant: 中国科学技术大学
IPC: G06N5/04 , G06N3/0475 , G06N3/0455 , G06N3/094 , G06N3/0985 , G06F40/30 , G06F18/25 , G06F18/22 , G06N3/048
Abstract: 本发明涉及多模态内容生成技术领域,公开了一种基于价值体系引导的动态演化多模态价值生成方法;将给定的与价值体系有关的初始文本,输入到完成训练的生成模型,生成符合价值体系的多模态内容;生成模型的训练过程包括:查询与初始文本相关的语料文本;构建单一对抗多阶段结构,每个阶段采用一个生成结构;每个生成结构包括生成器和动态语义演化模块,且最后一个阶段的生成结构还包括判别器;通过判别器目标函数、生成器对抗目标函数,以及图文匹配度目标函数对生成模型进行训练。本发明利用动态演化模块和单一对抗多阶段结构,实现了内容生成的动态调整,能够根据历史阶段的状态重新组合词语特征,提升内容的生成效率和质量。
-
公开(公告)号:CN118296414A
公开(公告)日:2024-07-05
申请号:CN202410729803.4
申请日:2024-06-06
Applicant: 中国科学技术大学
IPC: G06F18/231 , G06F18/20 , G06F40/284 , G06F40/216 , G06N3/0455 , G06N3/0895 , G06F18/23213 , G06F40/295
Abstract: 本发明涉及自然语言理解技术技术领域,公开了一种基于层级聚类和属性挖掘的可计算价值体系构建方法,包括:层级节点挖掘,将语料数据聚类为四个类别的语料,提取关键词,将所有关键词汇总并去重后得到的关键词作为词节点;基于软硬权重融合的节点关系属性构建;多层级综合知识匹配计算,初始化测试文本的价值分数,提取测试文本中的实体,根据实体对应的词节点的相邻词节点的层级属性,以及词节点间的边对应的权值,计算实体的价值分数,将测试文本中所有实体的价值分数求和,得到测试文本的价值分数。本发明从多层次知识判别的角度提出了基于层级聚类和属性挖掘的可计算价值体系构建方法,按照由粗到细的粒度对输入文本进行价值计算。
-
公开(公告)号:CN117313709B
公开(公告)日:2024-03-29
申请号:CN202311614320.1
申请日:2023-11-29
Applicant: 中国科学技术大学
IPC: G06F40/216 , G06N3/045 , G06N3/0455 , G06N3/096 , G06F18/213 , G06F18/2415 , G06F18/2431 , G06F18/25 , G06F18/27
Abstract: 本发明涉及生成文本检测技术领域,公开了一种基于统计信息和预训练语言模型的生成文本检测方法,通过由统计学习模型、深度学习模型和动态融合框架组成的检测模型,检测生成的文本的类别标签;检测模型的构建方法包括:构建统计学习模型;构建深度学习模型;构建动态融合框架;基于训练数据集,通过计算关于动态融合得到的类别标签概率分布和真实的类别标签的交叉熵损失函数来训练检测模型。统计学习模型有效缓解了在多领域标注数据有限的情况下模型迁移性差的问题,深度学习模型摆脱了手工设计特征的问题,可以提取更加隐式的特征,动态融合框架在损失较少检测效果的前提下提高了模型的迁移能力。
-
公开(公告)号:CN117291175A
公开(公告)日:2023-12-26
申请号:CN202311584926.5
申请日:2023-11-27
Applicant: 中国科学技术大学
IPC: G06F40/216 , G06F40/284 , G06N3/045 , G06F18/2415 , G06F18/2431 , G06F18/25
Abstract: 本发明涉及自然语言理解技术领域,公开了一种基于多个大语言模型统计特征融合的生成文本检测方法,通过由统计特征融合模型和分类模型组成的检测模型,检测生成的文本的类别标签;检测模型的构建方法包括:构建基于多个大语言模型的统计特征融合模型;构建分类模型;通过计算预测类别标签和真实标签的交叉熵损失函数来训练检测模型。本发明基于多个大语言模型的统计特征融合模型有效缓解了在多种类型语言模型生成不同的文本的情况下,模型拟合能力差和缺乏鲁棒性的问题。多统计特征融合降低了检测模型的不准确性和脆弱性。
-
公开(公告)号:CN118410795B
公开(公告)日:2024-09-13
申请号:CN202410879525.0
申请日:2024-07-02
Applicant: 中国科学技术大学
IPC: G06F40/253 , G06F40/216 , G06F18/214
Abstract: 本发明涉及可控文本生成技术领域,公开了一种基于细粒度规划机制与指令微调的可控文本生成方法;基于主题‑正文数据生成多层次细粒度提纲;构造结构化指令微调数据:人工编写部分种子指令,进而得到由多个完整指令组成的指令微调数据集;基于指令微调数据集,并采用因果语言建模形式对大语言模型进行训练,使大语言模型具有根据主题规划提纲、并以提纲作为控制信号撰写正文的能力;向完成训练的大语言模型输入包含主题的指令,大语言模型能够根据主题规划提纲,并根据提纲生成正文;本发明没有引入额外开销,提纲细粒度地限制了正文内容的风格、内容、立场,能够有效实现生成文本的内容可控。
-
公开(公告)号:CN118410795A
公开(公告)日:2024-07-30
申请号:CN202410879525.0
申请日:2024-07-02
Applicant: 中国科学技术大学
IPC: G06F40/253 , G06F40/216 , G06F18/214
Abstract: 本发明涉及可控文本生成技术领域,公开了一种基于细粒度规划机制与指令微调的可控文本生成方法;基于主题‑正文数据生成多层次细粒度提纲;构造结构化指令微调数据:人工编写部分种子指令,进而得到由多个完整指令组成的指令微调数据集;基于指令微调数据集,并采用因果语言建模形式对大语言模型进行训练,使大语言模型具有根据主题规划提纲、并以提纲作为控制信号撰写正文的能力;向完成训练的大语言模型输入包含主题的指令,大语言模型能够根据主题规划提纲,并根据提纲生成正文;本发明没有引入额外开销,提纲细粒度地限制了正文内容的风格、内容、立场,能够有效实现生成文本的内容可控。
-
公开(公告)号:CN118690755B
公开(公告)日:2024-11-01
申请号:CN202411161518.3
申请日:2024-08-23
Applicant: 中国科学技术大学
IPC: G06F40/30 , G06F40/16 , G06N3/0455
Abstract: 本发明涉及评论生成技术领域,具体公开了一种基于价值体系驱动的主观评论价值编辑方法,将给定的视频以及预设的价值条件输入到完成训练的评论生成模型,输出符合所述价值条件的主观评论文本;所述评论生成模型的训练过程包括:提取视频的多模态信息,构建价值观点场景图;以价值观点场景图为输入,通过自编码生成网络,生成与价值条件相匹配的主观评论文本;自编码生成网络的损失函数采用带正则项的交叉熵损失。与单一模态的分析方法相比,本发明能够更全面、准确地捕捉多媒体内容蕴含的情感和观点信息,为评论生成提供了丰富的输入表示。
-
公开(公告)号:CN118690755A
公开(公告)日:2024-09-24
申请号:CN202411161518.3
申请日:2024-08-23
Applicant: 中国科学技术大学
IPC: G06F40/30 , G06F40/16 , G06N3/0455
Abstract: 本发明涉及评论生成技术领域,具体公开了一种基于价值体系驱动的主观评论价值编辑方法,将给定的视频以及预设的价值条件输入到完成训练的评论生成模型,输出符合所述价值条件的主观评论文本;所述评论生成模型的训练过程包括:提取视频的多模态信息,构建价值观点场景图;以价值观点场景图为输入,通过自编码生成网络,生成与价值条件相匹配的主观评论文本;自编码生成网络的损失函数采用带正则项的交叉熵损失。与单一模态的分析方法相比,本发明能够更全面、准确地捕捉多媒体内容蕴含的情感和观点信息,为评论生成提供了丰富的输入表示。
-
公开(公告)号:CN118428359A
公开(公告)日:2024-08-02
申请号:CN202410885707.9
申请日:2024-07-03
Applicant: 中国科学技术大学
IPC: G06F40/284 , G06F18/214 , G06N3/0499 , G06N3/0895 , G06N3/098
Abstract: 本发明涉及自然语言生成技术领域,公开了一种基于组合采样与联合优化的多属性可控文本生成方法,将属性组合输入不同的可控文本生成方法的生成式语言模型中,生成满足给定的属性的文本;训练过程包括:随机采样训练数据一,计算在生成式语言模型上的损失,得到中间模型;再从训练数据集中采样训练数据二,训练数据二中任意一个属性均在训练数据一中出现,且训练数据二中的属性组合与训练数据一的任意一个属性组合均不相同;计算训练数据二在中间模型上的损失:基于总损失对中间模型进行一步优化,得到最终输出的生成式语言模型。提升了模型面对新属性组合作为控制条件时的泛化能力,进而实现提升多属性可控文本生成方法的组合泛化能力。
-
公开(公告)号:CN118378707A
公开(公告)日:2024-07-23
申请号:CN202410805095.8
申请日:2024-06-21
Applicant: 中国科学技术大学
IPC: G06N5/04 , G06N3/0475 , G06N3/0455 , G06N3/094 , G06N3/0985 , G06F40/30 , G06F18/25 , G06F18/22 , G06N3/048
Abstract: 本发明涉及多模态内容生成技术领域,公开了一种基于价值体系引导的动态演化多模态价值生成方法;将给定的与价值体系有关的初始文本,输入到完成训练的生成模型,生成符合价值体系的多模态内容;生成模型的训练过程包括:查询与初始文本相关的语料文本;构建单一对抗多阶段结构,每个阶段采用一个生成结构;每个生成结构包括生成器和动态语义演化模块,且最后一个阶段的生成结构还包括判别器;通过判别器目标函数、生成器对抗目标函数,以及图文匹配度目标函数对生成模型进行训练。本发明利用动态演化模块和单一对抗多阶段结构,实现了内容生成的动态调整,能够根据历史阶段的状态重新组合词语特征,提升内容的生成效率和质量。
-
-
-
-
-
-
-
-
-