一种基于层次化选择框架的视频问答建模方法

    公开(公告)号:CN119884417A

    公开(公告)日:2025-04-25

    申请号:CN202510077986.0

    申请日:2025-01-17

    Abstract: 本发明公开了一种基于层次化选择框架的视频问答建模方法,其特征在于,首先进行视频数据和文本数据预处理,得到视频片段特征、物体特征、物体特征、问题特征、问题词特征和候选答案特征作为视频问答模型的输入;根据时间跨度和空间跨度从大到小层次化地选择视频片段特征、视频帧特征和物体特征,然后与问题特征进行特征融合,实现对答案的预测。本发明方法可以和不同的预训练模型结合训练与微调,即插即用;能够层次化地选择与问题相关的视频片段、视频帧和物体特征,实现问题相关关键特征的提取,以及对无关冗余信息的过滤。

Patent Agency Ranking