-
公开(公告)号：CN119415674B
公开(公告)日：2025-04-04
申请号：CN202510025829.5
申请日：2025-01-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/334 , G06F16/78 , G06F16/58 , G06N5/022
Abstract: 本发明公开一种基于大语言模型的古诗词到视频的生成方法及装置，涉及视频生成技术领域。方法包括：构建古诗词知识库；根据大语言模型采用Soft Prompt训练方法，得到训练好的故事学习向量；根据待生成古诗词数据、对应的文本知识、训练好的故事学习向量以及大语言模型，得到待生成古诗词数据对应的故事；根据待生成古诗词数据对应的故事、预设的提示词以及大语言模型，得到待生成古诗词数据对应的剧本；根据剧本、图片知识以及图片生成模型，生成待生成古诗词数据对应的故事图片；根据故事图片以及视频生成模型，生成待生成古诗词数据对应的视频。采用本发明，可以解决古诗词视频数据集匮乏的问题，提升了古诗词视频的生成质量。
-
公开(公告)号：CN119415674A
公开(公告)日：2025-02-11
申请号：CN202510025829.5
申请日：2025-01-08
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/334 , G06F16/78 , G06F16/58 , G06N5/022
Abstract: 本发明公开一种基于大语言模型的古诗词到视频的生成方法及装置，涉及视频生成技术领域。方法包括：构建古诗词知识库；根据大语言模型采用Soft Prompt训练方法，得到训练好的故事学习向量；根据待生成古诗词数据、对应的文本知识、训练好的故事学习向量以及大语言模型，得到待生成古诗词数据对应的故事；根据待生成古诗词数据对应的故事、预设的提示词以及大语言模型，得到待生成古诗词数据对应的剧本；根据剧本、图片知识以及图片生成模型，生成待生成古诗词数据对应的故事图片；根据故事图片以及视频生成模型，生成待生成古诗词数据对应的视频。采用本发明，可以解决古诗词视频数据集匮乏的问题，提升了古诗词视频的生成质量。
-
公开(公告)号：CN118628614B
公开(公告)日：2024-12-27
申请号：CN202411107024.7
申请日：2024-08-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及人工智能技术领域，特别是指一种基于少样本学习的大语言模型的图到文本生成方法及装置。方法包括：构建正例样本和负例样本，对初始的图神经网络进行训练，得到图编码器，设定四个不同的训练任务，获取分别对应的训练样本，对初始的线性网络进行训练，得到图到文本投影器；选取少样本学习样本，使用少样本学习样本对预训练的大语言模型进行微调，根据图编码器、图到文本投影器以及微调后的大语言模型，得到训练好的基于大语言模型的图到文本生成模型；获取待生成图，将待生成图输入训练好的基于大语言模型的图到文本生成模型，得到待生成图对应的生成文本。采用本发明，可以降低对大规模标注数据集的依赖，提高训练的模型的准确度。
-
公开(公告)号：CN118628614A
公开(公告)日：2024-09-10
申请号：CN202411107024.7
申请日：2024-08-13
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明涉及人工智能技术领域，特别是指一种基于少样本学习的大语言模型的图到文本生成方法及装置。方法包括：构建正例样本和负例样本，对初始的图神经网络进行训练，得到图编码器，设定四个不同的训练任务，获取分别对应的训练样本，对初始的线性网络进行训练，得到图到文本投影器；选取少样本学习样本，使用少样本学习样本对预训练的大语言模型进行微调，根据图编码器、图到文本投影器以及微调后的大语言模型，得到训练好的基于大语言模型的图到文本生成模型；获取待生成图，将待生成图输入训练好的基于大语言模型的图到文本生成模型，得到待生成图对应的生成文本。采用本发明，可以降低对大规模标注数据集的依赖，提高训练的模型的准确度。
-
-
-
Search Results
4
records
(took 0.039 seconds)
