公开(公告)号：CN117037046B

公开(公告)日：2024-01-09

申请号：CN202311293169.6

申请日：2023-10-08

Applicant: 之江实验室

Inventor： 俞菲 ,  尚苗 ,  万志国 ,  洪晓鹏

IPC: G06V20/40 ,  G06F18/25 ,  G10L25/57

Abstract: 本说明书公开了一种视听事件检测方法、装置、存储介质及电子设备。在本说明书提供的视听事件检测方法中，获取目标音视频数据，并从所述目标音视频数据中提取目标视频与目标音频；采用同一方式对所述目标视频与所述目标音频进行分段，得到相同数量的分段视频与分段音频；将在所述目标音视频数据中位于同一时间段的分段视频与分段音频确定为音视频对；针对每个音视频对，提取该音视频对中的分段视频的视频特征与分段音频的音频特征；对所述视频特征与所述音频特征进行融合，得到该音视频对的融合特征，所述融合特征用于表征该音视频对的视听事件语义；根据该音视频对的融合特征确定该音视频对的视听事件检测结果。(56)对比文件李敏;高珏;吴佳家;许华虎.基于本体的多模式融合语义提取模型.计算机技术与发展.2013,(第09期),全文.

公开(公告)号：CN117037046A

公开(公告)日：2023-11-10

申请号：CN202311293169.6

申请日：2023-10-08

Applicant: 之江实验室

Inventor： 俞菲 ,  尚苗 ,  万志国 ,  洪晓鹏

IPC: G06V20/40 ,  G06F18/25 ,  G10L25/57

Abstract: 本说明书公开了一种视听事件检测方法、装置、存储介质及电子设备。在本说明书提供的视听事件检测方法中，获取目标音视频数据，并从所述目标音视频数据中提取目标视频与目标音频；采用同一方式对所述目标视频与所述目标音频进行分段，得到相同数量的分段视频与分段音频；将在所述目标音视频数据中位于同一时间段的分段视频与分段音频确定为音视频对；针对每个音视频对，提取该音视频对中的分段视频的视频特征与分段音频的音频特征；对所述视频特征与所述音频特征进行融合，得到该音视频对的融合特征，所述融合特征用于表征该音视频对的视听事件语义；根据该音视频对的融合特征确定该音视频对的视听事件检测结果。