-
公开(公告)号：CN118410210B
公开(公告)日：2024-11-19
申请号：CN202410845065.X
申请日：2024-06-27
Applicant: 中国科学院自动化研究所
IPC: G06F16/783 , G06N20/00
Abstract: 本发明涉及机器学习技术领域，提供一种基于事件感知的跨模态视频文本检索模型的训练方法，方法包括：获取样本视频和初始检索模型，样本视频包含各视频帧的帧描述；提取各视频帧的帧特征和样本视频的视频特征；基于各视频帧的帧特征和各帧描述的帧文本特征进行事件内容对齐确定事件内容感知损失；基于视频特征和样本视频的整体文本特征进行事件时序对齐，确定事件时序感知损失；基于事件内容感知损失和事件时序感知损失，得到跨模态视频文本检索模型。本发明提供的方法，通过进行视频帧粒度的事件内容对齐和视频粒度的事件时序对齐，使得跨模态视频文本检索模型的事件理解能力大大提升，进而提升跨模态视频文本检索能力和鲁棒性。
-
公开(公告)号：CN116821417A
公开(公告)日：2023-09-29
申请号：CN202311082820.5
申请日：2023-08-28
Applicant: 中国科学院自动化研究所 , 人民中科(北京)智能技术有限公司
IPC: G06F16/783 , G06N3/045 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明实施例提供了一种视频标签序列生成方法和装置，其中，该方法包括：对样本视频内容和标题进行多模态特征提取得到多种特征编码；将多种特征编码输入到预训练的多模态混合编码器中进行特征融合，得到多模态混合特征；通过顺序提示模型为样本视频生成对应的顺序提示信息；将顺序提示信息与样本视频对应的标签进行对齐训练，得到每个顺序提示信息与标签的唯一对应关系；基于顺序提示信息和唯一对应关系对样本视频进行标签排序得到目标序列，通过目标序列和多模态混合特征对顺序感知标签解码器进行训练，得到训练好的标签解码器。通过本发明，解决了视频标签开集生成的问题，提高了模型预测未见标签的能力和拓展性。
-
公开(公告)号：CN118410210A
公开(公告)日：2024-07-30
申请号：CN202410845065.X
申请日：2024-06-27
Applicant: 中国科学院自动化研究所
IPC: G06F16/783 , G06N20/00
Abstract: 本发明涉及机器学习技术领域，提供一种基于事件感知的跨模态视频文本检索模型的训练方法，方法包括：获取样本视频和初始检索模型，样本视频包含各视频帧的帧描述；提取各视频帧的帧特征和样本视频的视频特征；基于各视频帧的帧特征和各帧描述的帧文本特征进行事件内容对齐确定事件内容感知损失；基于视频特征和样本视频的整体文本特征进行事件时序对齐，确定事件时序感知损失；基于事件内容感知损失和事件时序感知损失，得到跨模态视频文本检索模型。本发明提供的方法，通过进行视频帧粒度的事件内容对齐和视频粒度的事件时序对齐，使得跨模态视频文本检索模型的事件理解能力大大提升，进而提升跨模态视频文本检索能力和鲁棒性。
-
公开(公告)号：CN116821417B
公开(公告)日：2023-12-12
申请号：CN202311082820.5
申请日：2023-08-28
Applicant: 中国科学院自动化研究所 , 人民中科(北京)智能技术有限公司
IPC: G06F16/783 , G06N3/045 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明实施例提供了一种视频标签序列生成方法和装置，其中，该方法包括：对样本视频内容和标题进行多模态特征提取得到多种特征编码；将多种特征编码输入到预训练的多模态混合编码器中进行特征融合，得到多模态混合特征；通过顺序提示模型为样本视频生成对应的顺序提示信息；将顺序提示信息与样本视频对应的标签进行对齐训练，得到每个顺序提示信息与标签的唯一对应关系；基于顺序提示信息和唯一对应关系对样本视频进行标签排序得到目标序列，通过目标序列和多模态混合特征对顺序感知标签解码器进行训练，得到训练好的标签解码器。通
-
-
-
Search Results
4
records
(took 0.02 seconds)
