一种视频理解方法、系统、电子设备和存储介质
Abstract:
本发明涉及多模态大模型技术领域,具体公开一种视频理解方法、系统、电子设备和存储介质,包括:按照预设抽帧间隔对视频进行抽帧,得到多个视频帧并编码,得到多个初始编码特征;计算每两个时间相邻的初始编码特征的余弦相似度,并将余弦相似度不大于第一阈值的初始编码特征确定为目标编码特征;当目标编码特征的数量不小于第二阈值时,构建初始时序编码特征并压缩,得到目标时序编码特征;对目标时序编码特征进行映射,得到映射编码特征,并将映射编码特征与目标视频的问题文本token序列输入至训练好的大语言模型,得到回答文本。本发明能够有效提取视频的重要变化信息,避免了信息丢失,从而提升了大语言模型对于视频理解的准确率与效率。
Patent Agency Ranking
0/0