一种基于信息损失函数的视频描述方法和系统

    公开(公告)号:CN109684912A

    公开(公告)日:2019-04-26

    申请号:CN201811329684.4

    申请日:2018-11-09

    Abstract: 本发明涉及一种基于信息损失函数的视频描述方法和系统,包括:获取训练视频,得到集合训练视频每一帧的语义信息;将训练视频的语义信息输入结合LSTM的层次化注意力机制模型中,得到训练视频的文字描述;根据文字描述中每个单词对表达视频内容的重要性,对单词进行损失加权,得到信息损失函数,将信息损失函数作为目标函数反传梯度优化层次化注意力机制模型,得到视频描述模型;获取待描述视频,将待描述视频分别输入至目标检测网络,卷积神经网络和动作识别网络,以得到集合待描述视频每一帧的目标特征、总体特征、运动特征,作为待描述视频的语义信息,将其输入至视频描述模型,得到待描述视频的文字描述。

Patent Agency Ranking