公开(公告)号：CN111368142B

公开(公告)日：2023-06-06

申请号：CN202010296654.9

申请日：2020-04-15

Applicant: 华中科技大学

Inventor： 李玉华 ,  朱志杰 ,  李瑞轩 ,  辜希武

IPC: G06F16/78 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/094

Abstract: 本发明公开了一种基于生成对抗网络的视频密集事件描述方法，属于深度学习和图像识别领域。包括：构建视频密集事件描述网络；该网络包括：视频特征提取模块，对视频帧进行特征提取，得到视频帧特征；时序动作特征提取模块，利用视频前向传播与反向传播的特点进行视频帧特征学习，得到各个时序动作特征；自然语言编码器，利用注意力机制融合视频帧特征与时序动作特征，得到自然语句；鉴别器，强化自然语句的准确性；利用训练好的视频密集事件描述模型进行视频密集事件描述。本发明充分考虑了视频双向传播的特点，同时学习自然语句生成时充分利用了视频特征及时序动作特征，并构建语法鉴别器与内容鉴别器，有效强化了自然语句准确性。

公开(公告)号：CN111368142A

公开(公告)日：2020-07-03

申请号：CN202010296654.9

申请日：2020-04-15

Applicant: 华中科技大学

Inventor： 李玉华 ,  朱志杰 ,  李瑞轩 ,  辜希武

IPC: G06F16/78 ,  G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于生成对抗网络的视频密集事件描述方法，属于深度学习和图像识别领域。包括：构建视频密集事件描述网络；该网络包括：视频特征提取模块，对视频帧进行特征提取，得到视频帧特征；时序动作特征提取模块，利用视频前向传播与反向传播的特点进行视频帧特征学习，得到各个时序动作特征；自然语言编码器，利用注意力机制融合视频帧特征与时序动作特征，得到自然语句；鉴别器，强化自然语句的准确性；利用训练好的视频密集事件描述模型进行视频密集事件描述。本发明充分考虑了视频双向传播的特点，同时学习自然语句生成时充分利用了视频特征及时序动作特征，并构建语法鉴别器与内容鉴别器，有效强化了自然语句准确性。