公开(公告)号：CN116912616A

公开(公告)日：2023-10-20

申请号：CN202310673660.5

申请日：2023-06-07

Applicant: 中国科学院自动化研究所 ,  百度在线网络技术(北京)有限公司

Inventor： 乔冠辉 ,  单斌 ,  吴凌翔 ,  尹维冲 ,  李芝 ,  孙宇 ,  王金桥

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06F40/126

Abstract: 本发明提供一种图文预训练模型的训练方法、训练装置及电子设备，涉及深度学习技术领域，该方法包括：构建初始图文预训练模型，初始图文预训练模型包含生成器模块和判别器模块，生成器模块和判别器模块均包含图像编码器、文本编码器和跨模态融合编码器，跨模态融合编码器用于融合图像编码器和文本编码器输出的特征；针对每种预训练任务，基于生成器模块的生成结果对判别器模块进行训练，并基于训练后的判别器模块，得到目标图文预训练模型。使得最终得到的目标图文预训练模型能够与下游任务完全匹配，从而能够在各种图文下游任务中取得更好的效果。

公开(公告)号：CN116912616B

公开(公告)日：2024-11-01

申请号：CN202310673660.5

申请日：2023-06-07

Applicant: 中国科学院自动化研究所 ,  百度在线网络技术(北京)有限公司

Inventor： 乔冠辉 ,  单斌 ,  吴凌翔 ,  尹维冲 ,  李芝 ,  孙宇 ,  王金桥

IPC: G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06F40/126

Abstract: 本发明提供一种图文预训练模型的训练方法、训练装置及电子设备，涉及深度学习技术领域，该方法包括：构建初始图文预训练模型，初始图文预训练模型包含生成器模块和判别器模块，生成器模块和判别器模块均包含图像编码器、文本编码器和跨模态融合编码器，跨模态融合编码器用于融合图像编码器和文本编码器输出的特征；针对每种预训练任务，基于生成器模块的生成结果对判别器模块进行训练，并基于训练后的判别器模块，得到目标图文预训练模型。使得最终得到的目标图文预训练模型能够与下游任务完全匹配，从而能够在各种图文下游任务中取得更好的效果。

公开(公告)号：CN116992112A

公开(公告)日：2023-11-03

申请号：CN202310804597.4

申请日：2023-06-30

Applicant: 百度在线网络技术(北京)有限公司

Inventor： 张振宇 ,  方晔玮 ,  尹维冲 ,  孙宇 ,  李芝 ,  吴华 ,  田浩

IPC: G06F16/953 ,  G06F16/958

Abstract: 本公开提供了一种数据生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及人工智能领域，尤其涉及深度学习、自然语言处理技术领域。实现方案为：获取与第一文档类型相对应的多个网页内容，第一文档类型与目标生成任务相对应；获取多个网页内容中每个网页内容的得分，以用于评价相应的网页内容的内容质量、时效性、权威性中的至少一者；基于得分对多个网页内容进行过滤，以获得得分超过预设阈值的至少一个网页内容；对于至少一个网页内容中的每一个：确定该网页内容对应的第二文档类型，第二文档类型为第一文档类型的子类型；以及基于第二文档类型，生成与该网页内容相对应的问题指令，该网页内容作为问题指令所对应的回答信息。