公开(公告)号：CN118377928A

公开(公告)日：2024-07-23

申请号：CN202410501754.9

申请日：2024-04-25

Applicant: 中国科学院计算技术研究所

Inventor： 曹娟 ,  弭晓月 ,  唐帆 ,  唐胜

IPC: G06F16/583 ,  G06F16/54 ,  G06N5/04

Abstract: 本发明提出一种基于大型语言模型的文生图模型动态评估方法，包括：LLM根据所选的主题生成测试输入文本，待评估的文生图模型根据测试输入文本生成测试图片，记录测试图片生成的准确率，并判断准确率是否低于阈值，若是则执行文本调整步骤；调整测试输入文本，得到多个调整输入文本，文生图模型根据测试输入文本生成调整图片，将准确率低于阈值的调整图片对应的调整输入文本作为失败文本；LLM根据当前主题下所有测试输入文本和调整输入文本的图片生成的准确率，分析文生图模型的对错原因，LLM分析对错原因和当前主题，生成新的主题，再次执行文本生成步骤，直到达到用户需求，保存当前所有失败文本作为文生图模型的评估结果。

公开(公告)号：CN117592547A

公开(公告)日：2024-02-23

申请号：CN202311575231.0

申请日：2023-11-23

Applicant: 中国科学院计算技术研究所

Inventor： 曹娟 ,  弭晓月 ,  唐帆 ,  汪旦丁 ,  唐胜

IPC: G06N3/094 ,  G06N3/0475 ,  G06F18/214 ,  G06F18/241

Abstract: 本发明提出一种基于记忆存储的持续对抗防御方法，包括：获取持续学习模型的分类器的类别；对该持续学习模型的记忆训练数据和当前任务的当前训练数据生成对抗样本，将该对抗样本输入该持续学习模型，进行持续对抗训练；并在该持续对抗训练中，对该对抗样本的类别logit值以校正值进行校正；以完成训练后的持续学习模型执行该当前任务。本发明还提出一种基于记忆存储的持续对抗防御系统，以及一种用于实现基于记忆存储的持续对抗防御的数据处理装置。

公开(公告)号：CN117979115A

公开(公告)日：2024-05-03

申请号：CN202410069876.5

申请日：2024-01-17

Applicant: 中国科学院计算技术研究所

Inventor： 唐帆 ,  黄子尧 ,  曹娟 ,  李锦涛 ,  唐胜

IPC: H04N21/81 ,  H04N5/222

Abstract: 本发明提出一种基于扩散模型的虚拟主播全身视频生成方法和系统，包括：获取人物视频，每个人物视频具有对应的人物外观控制图像；构建用于生成视频的扩散模型，输入人物外观控制图像至图像编码器，得到训练外观描述；为人物视频的帧画面添加噪声数据得到含噪图像；图像去噪模型根据训练外观描述和含噪图像对应的三维人体数据，进行图像去噪，构建损失函数训练扩散网络，得到虚拟人物视频生成模型；获取人物全身姿态的多帧目标三维数据和其目标虚拟人物图像，输入目标虚拟人物图像至图像编码器，得到目标外观描述；虚拟人物视频生成模型的图像去噪模型根据目标外观描述和目标三维数据，为噪声图像降噪，得到目标虚拟人物视频。

公开(公告)号：CN117710850A

公开(公告)日：2024-03-15

申请号：CN202311575656.1

申请日：2023-11-23

Applicant: 中国科学院计算技术研究所

Inventor： 唐胜 ,  房海鹏 ,  孙志豪 ,  黄子尧 ,  唐帆 ,  曹娟

IPC: G06V20/40 ,  G06V10/46

Abstract: 本发明提出一种基于时空分解与对齐的端到端动作视频生成方法，包括：构建视频生成模型，以一组姿势关键点、参考前景及参考背景作为该视频生成模型的模型输入，以目标动作视频作为该视频生成模型的模型输出；将该目标动作视频的原始视频空间分解为多组时空子空间，通过动作流引导使各组时空子空间的子空间特征对齐；将对齐后的各组时空子空间恢复为该原始视频空间，并得到该目标动作视频。本发明还提出一种基于时空分解与对齐的端到端动作视频生成系统，以及一种用于实现基于时空分解与对齐的端到端动作视频生成的数据处理装置。

公开(公告)号：CN119169120A

公开(公告)日：2024-12-20

申请号：CN202410417957.X

申请日：2024-04-08

Applicant: 中国科学院计算技术研究所

Inventor： 曹娟 ,  弭晓月 ,  唐帆 ,  唐胜

IPC: G06T11/00 ,  G06T7/10 ,  G06N3/094 ,  G06N3/045 ,  G06N3/0475 ,  G06V10/764 ,  G06N3/084

Abstract: 本发明提出一种基于对抗攻击的图像反生成方法，包括：对目标图像进行分割，获取该目标图像的关键掩码；在该关键掩码上添加对抗性扰动，得到该目标图像的反生成保护图像。本发明的方法使用较少难以察觉的对抗噪声来反生成保护用户重要的概念，如人类图像中的面部区域，能有效地防止了恶意的个性化，与MIST等针对整个图像的反生成保护方法相比，它在安全性和噪声的视觉质量之间提供了更好的平衡。本发明还提出一种基于对抗攻击的图像反生成装置，以及一种计算机可读存储介质和一种电子设备。

公开(公告)号：CN118195971A

公开(公告)日：2024-06-14

申请号：CN202410382003.X

申请日：2024-03-29

Applicant: 中国科学院计算技术研究所

Inventor： 曹娟 ,  徐榆 ,  唐帆 ,  唐胜

IPC: G06T5/80 ,  G06V10/774 ,  G06F17/16 ,  G06T5/50

Abstract: 本发明为一种内容与风格解耦的图像生成方法、装置及扩散模型，包括以下步骤：为扩散模型的交叉注意力模块构建适配的内容风格解耦模块；对所述扩散模型进行训练，得到训练后的扩散模型中包括经过训练的所述内容风格解耦模块；对训练后的所述扩散模型进行微调，得到定制化模型；使用所述定制化模型生成内容风格解耦的定制化图像。

公开(公告)号：CN117876522A

公开(公告)日：2024-04-12

申请号：CN202410069798.9

申请日：2024-01-17

Applicant: 中国科学院计算技术研究所

Inventor： 曹娟 ,  吴优 ,  唐帆 ,  李锦涛 ,  唐胜

IPC: G06T11/00 ,  G06T5/70 ,  G06N3/0455 ,  G06N3/08 ,  G06N3/0464 ,  G06F40/205 ,  G06F40/30

Abstract: 本发明提出一种基于解耦自增强的细节可控个性化图像生成方法和系统，包括：获取参考概念图像和文本指令，构造文本指令的属性描述，基于概念图像的概念特征和属性描述，生成多个初始图像并筛选，将筛选后的每张初始图像与其对应的属性描述作为训练样本；为训练样本中初始图像添噪得到噪声图像，将噪声图像和其对应的属性描述送入包括文本编码器的扩散网络，扩散网络根据属性描述，预测噪声图像中所添加的噪声，根据预测结果和真实添加噪声构建损失函数训练扩散网络，得到图像生成模型；将具有目标属性的图像生成文本指令和噪声图像输入图像生成模型，图像生成模型根据图像生成文本指令为噪声图像去噪，得到图像生成文本指令对应的图像生成结果。