公开(公告)号：CN115205746A

公开(公告)日：2022-10-18

申请号：CN202210833563.3

申请日：2022-07-14

Applicant: 桂林电子科技大学

Inventor： 蔡晓东 ,  王湘晴

IPC: G06V20/40 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明提供一种视频描述方法、装置及存储介质，方法包括：从预设视频数据集中导入待描述视频，对所述待描述视频进行特征提取，得到图像特征和运动特征；将所述图像特征和所述运动特征拼接，得到拼接特征，并通过门控融合机制将所述图像特征、所述运动特征和所述拼接特征一并进行编码处理，得到编码视觉视频特征；将所述编码视觉视频特征进行解码，得到所述编码视觉视频特征的描述。本发明能够去除视频特征语义信息里多余或不重要的信息，降低冗余信息对生成描述的干扰，提升视频描述的准确性。

公开(公告)号：CN113191263B

公开(公告)日：2022-05-13

申请号：CN202110476064.9

申请日：2021-04-29

Applicant: 桂林电子科技大学

Inventor： 蔡晓东 ,  王湘晴

IPC: G06V20/40 ,  G06V10/74 ,  G06V10/82 ,  G06F16/71 ,  G06F16/783 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明提供一种视频描述方法及装置，方法包括：导入待测视频，对所述待测视频进行时序语义特征分割，得到多个镜头数据；通过预设视频描述模型分别对各个所述镜头数据进行转换分析，得到与各个所述镜头数据对应的镜头描述信息；对多个所述镜头描述信息进行语句融合分析，得到视频描述信息。本发明能够确保了视频里信息的不丢失，且不会产生镜头语义冗余，能对每个镜头都进行描述，有助于提高在线视频的索引和搜索质量，并提高了视频检索的效率和精确性，拥有了更强的鲁棒性，且有可能使视力受损者受益。

公开(公告)号：CN114386260A

公开(公告)日：2022-04-22

申请号：CN202111640894.7

申请日：2021-12-29

Applicant: 桂林电子科技大学

Inventor： 蔡晓东 ,  王湘晴

IPC: G06F30/20 ,  G06F40/30 ,  G06F119/02

Abstract: 本发明提供一种视频描述生成方法、装置以及存储介质，属于视频处理技术领域，方法包括：S1：导入待训练视频，并构建编码器、语义检测器和解码器；S2：通过编码器对待训练视频进行特征分析，得到待处理特征和视觉特征；S3：通过语义检测器对待处理特征进行语义分析，得到语义属性；S4：通过解码器对视觉特征进行解码，得到预测标签向量；S5：对语义属性和预测标签向量进行损失分析，得到视频描述生成模型；S6：通过视频描述生成模型对待描述视频进行视频描述，生成视频描述结果。本发明能够探索生成的描述和视觉内容之间的相关性，生成语义丰富的句子，充分地考虑了突出的特征，提高了模型的准确性。

公开(公告)号：CN113191263A

公开(公告)日：2021-07-30

申请号：CN202110476064.9

申请日：2021-04-29

Applicant: 桂林电子科技大学

Inventor： 蔡晓东 ,  王湘晴

IPC: G06K9/00 ,  G06F16/71 ,  G06F16/783 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明提供一种视频描述方法及装置，方法包括：导入待测视频，对所述待测视频进行时序语义特征分割，得到多个镜头数据；通过预设视频描述模型分别对各个所述镜头数据进行转换分析，得到与各个所述镜头数据对应的镜头描述信息；对多个所述镜头描述信息进行语句融合分析，得到视频描述信息。本发明能够确保了视频里信息的不丢失，且不会产生镜头语义冗余，能对每个镜头都进行描述，有助于提高在线视频的索引和搜索质量，并提高了视频检索的效率和精确性，拥有了更强的鲁棒性，且有可能使视力受损者受益。