Invention Publication
- Patent Title: 一种视频理解方法、系统、电子设备和存储介质
-
Application No.: CN202410800187.7Application Date: 2024-06-20
-
Publication No.: CN118823630APublication Date: 2024-10-22
- Inventor: 吴柯维 , 何晓罡 , 朱小平 , 苑荧荧 , 延瑾瑜
- Applicant: 北京卓视智通科技有限责任公司
- Applicant Address: 北京市海淀区西三旗昌临813号10号楼1层1002
- Assignee: 北京卓视智通科技有限责任公司
- Current Assignee: 北京卓视智通科技有限责任公司
- Current Assignee Address: 北京市海淀区西三旗昌临813号10号楼1层1002
- Agency: 北京轻创知识产权代理有限公司
- Agent 赖定珍
- Main IPC: G06V20/40
- IPC: G06V20/40 ; G06V10/74 ; G06V10/62 ; G06T9/00

Abstract:
本发明涉及多模态大模型技术领域,具体公开一种视频理解方法、系统、电子设备和存储介质,包括:按照预设抽帧间隔对视频进行抽帧,得到多个视频帧并编码,得到多个初始编码特征;计算每两个时间相邻的初始编码特征的余弦相似度,并将余弦相似度不大于第一阈值的初始编码特征确定为目标编码特征;当目标编码特征的数量不小于第二阈值时,构建初始时序编码特征并压缩,得到目标时序编码特征;对目标时序编码特征进行映射,得到映射编码特征,并将映射编码特征与目标视频的问题文本token序列输入至训练好的大语言模型,得到回答文本。本发明能够有效提取视频的重要变化信息,避免了信息丢失,从而提升了大语言模型对于视频理解的准确率与效率。
Information query