一种基于背景知识的视频描述自动生成方法

    公开(公告)号:CN119603524A

    公开(公告)日:2025-03-11

    申请号:CN202411802767.6

    申请日:2024-12-09

    Applicant: 同济大学

    Inventor: 方钰 林星 郑杜磊

    Abstract: 本发明在短视频时代提供了一种基于背景知识的视频描述自动生成方法,该方法主要是通过利用短视频相关的弹幕和评论信息结合视频信息来生成更加准确的视频描述。传统的视频描述方法由于缺乏相关的背景知识(背景知识通常是和视频相关的先验知识,如人物姓名,事件,地点等等)导致视频描述质量并不理想,本发明使用弹幕和评论信息作为相关的背景知识来源,结合视频内容进行描述。本发明的创新点在于引入了弹幕和评论这些信息来辅助短视频描述生成,并且基于CLIP的文本预处理方案来减少背景知识中的噪音,该方法有效提高了视频描述的生成质量。

Patent Agency Ranking