公开(公告)号：CN111818397B

公开(公告)日：2021-10-08

申请号：CN202010602795.9

申请日：2020-06-29

Applicant: 同济大学

Inventor： 王瀚漓 ,  李秦渝 ,  杨龙雨

IPC: H04N21/84 ,  H04N21/466 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明涉及一种基于长短时记忆网络变体的视频描述生成方法，包括以下步骤：1)构建视频描述模型，该视频描述模型包括卷积神经网络、视频特征编码模块和描述生成模块；2)输入待描述的视频，通过卷积神经网络获取初始视频特征；3)将初始视频特征输入视频特征编码模块进行处理得到带有语义信息的全局视频特征；4)以初始视频特征和带有语义信息的全局视频特征共同输入描述生成模块，并对视频描述模型进行训练，并使用训练好的视频描述模型生成描述句子。与现有技术相比，本发明具有兼顾关键帧特征提取和全局特征提取、提升视频描述的质量和准确性等优点。

公开(公告)号：CN111818397A

公开(公告)日：2020-10-23

申请号：CN202010602795.9

申请日：2020-06-29

Applicant: 同济大学

Inventor： 王瀚漓 ,  李秦渝 ,  杨龙雨

IPC: H04N21/84 ,  H04N21/466 ,  G06N3/04 ,  G06K9/62

Abstract: 本发明涉及一种基于长短时记忆网络变体的视频描述生成方法，包括以下步骤：1)构建视频描述模型，该视频描述模型包括卷积神经网络、视频特征编码模块和描述生成模块；2)输入待描述的视频，通过卷积神经网络获取初始视频特征；3)将初始视频特征输入视频特征编码模块进行处理得到带有语义信息的全局视频特征；4)以初始视频特征和带有语义信息的全局视频特征共同输入描述生成模块，并对视频描述模型进行训练，并使用训练好的视频描述模型生成描述句子。与现有技术相比，本发明具有兼顾关键帧特征提取和全局特征提取、提升视频描述的质量和准确性等优点。

公开(公告)号：CN110519653A

公开(公告)日：2019-11-29

申请号：CN201910659357.3

申请日：2019-07-22

Applicant: 同济大学

Inventor： 王瀚漓 ,  汤鹏杰 ,  李秦渝

IPC: H04N21/84 ,  H04N21/44 ,  H04N21/234 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明涉及一种基于事实转移的情感嵌入视频描述方法，该方法提取待描述视频的视频帧特征，通过一事实转移的情感嵌入模型生成待描述视频的描述语句，所述事实转移的情感嵌入模型包括事实获取模块和情感获取模块，所述事实获取模块和情感获取模块同时参与待描述视频的语句生成，并利用加权概率融合方式逐个生成描述语句中的单词。与现有技术相比，本发明具有视频描述更加准确、情感更加丰富等优点。

公开(公告)号：CN110519653B

公开(公告)日：2021-09-03

申请号：CN201910659357.3

申请日：2019-07-22

Applicant: 同济大学

Inventor： 王瀚漓 ,  汤鹏杰 ,  李秦渝

IPC: H04N21/84 ,  H04N21/44 ,  H04N21/234 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明涉及一种基于事实转移的情感嵌入视频描述方法，该方法提取待描述视频的视频帧特征，通过一事实转移的情感嵌入模型生成待描述视频的描述语句，所述事实转移的情感嵌入模型包括事实获取模块和情感获取模块，所述事实获取模块和情感获取模块同时参与待描述视频的语句生成，并利用加权概率融合方式逐个生成描述语句中的单词。与现有技术相比，本发明具有视频描述更加准确、情感更加丰富等优点。