-
公开(公告)号：CN114882402A
公开(公告)日：2022-08-09
申请号：CN202210478744.9
申请日：2022-05-05
Applicant: 杭州电子科技大学
IPC: G06V20/40 , G06V40/20 , G06V30/196 , G06N3/04 , G06N3/08
Abstract: 本发明属于计算机视觉领域，提供了一种基于词性信息的动作检测的视频描述方法，包括：步骤(1)提取视频特征，步骤(2)提取场景特征，步骤(3)构建递进式词性解码器，步骤(4)构建描述生成解码器，步骤(5)生成视频描述语句。本发明利用由图卷积神经网络和递进式词性解码器组成的词性信息检测模块，判断视频中多个物体间的全局依赖关系，来确定主语物体，并结合主语类别和视频动态特征预测动作，得到更准确的词性信息。最后通过语法引导的描述生成解码器，生成更精确的场景描述语句。
-
公开(公告)号：CN113420179A
公开(公告)日：2021-09-21
申请号：CN202110704646.8
申请日：2021-06-24
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于时序高斯混合空洞卷积的语义重构视频描述方法。本发明方法首先对含文本描述的采样视频帧提取外观特征和动作特征，将其拼接后输入到时序高斯混合空洞卷积编码器获得时序高斯特征；然后利用两层长短时记忆神经网络构建解码器，得到生成语句概率分布和隐藏向量；再建立语义重构网络并计算语义重构损失；利用随机梯度下降算法优化模型，对新视频依次通过上述步骤获得生成语句概率分布，用贪心搜索算法获得视频描述语句。本发明方法利用时序高斯混合空洞卷积对视频长期时序关系进行建模，并通过语义重构网络获得语句级的概率分布差异，能够缩小生成语句和视频内容的语义鸿沟，从而生成更准确描述视频内容的自然语句。
-
公开(公告)号：CN113420179B
公开(公告)日：2022-03-22
申请号：CN202110704646.8
申请日：2021-06-24
Applicant: 杭州电子科技大学
Abstract: 本发明公开了基于时序高斯混合空洞卷积的语义重构视频描述方法。本发明方法首先对含文本描述的采样视频帧提取外观特征和动作特征，将其拼接后输入到时序高斯混合空洞卷积编码器获得时序高斯特征；然后利用两层长短时记忆神经网络构建解码器，得到生成语句概率分布和隐藏向量；再建立语义重构网络并计算语义重构损失；利用随机梯度下降算法优化模型，对新视频依次通过上述步骤获得生成语句概率分布，用贪心搜索算法获得视频描述语句。本发明方法利用时序高斯混合空洞卷积对视频长期时序关系进行建模，并通过语义重构网络获得语句级的概率分布差异，能够缩小生成语句和视频内容的语义鸿沟，从而生成更准确描述视频内容的自然语句。
-
-
Search Results
3
records
(took 0.017 seconds)
