公开(公告)号：CN114446317A

公开(公告)日：2022-05-06

申请号：CN202210093434.5

申请日：2022-01-26

Applicant: 复旦大学

Inventor： 刘金羽 ,  冯瑞 ,  张玥杰

IPC: G10L21/028 ,  G10L25/12 ,  G10L25/18 ,  G10L25/57 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于视听觉多模态的视频音源分离方法，具有这样的特征，包括以下步骤：步骤1，对视频的视觉信息和听觉信息进行特征提取，得到视觉标签和听觉特征；步骤2，将视觉标签和听觉特征放入多实例多标签网络，得到听觉特征与视觉标签的关联值；步骤3，将视频和关联值放入音源分离网络中，得到每一个对象的单独声音，其中，步骤2中，多实例多标签网络的训练包括以下步骤：步骤2‑1，构建初始多实例多标签网络；步骤2‑2，将一个视频中所得到的所有音频特征向量作为训练集放入多实例多标签网络中训练，得到每个音频特征向量和所有视觉对象的关联特征图。

公开(公告)号：CN114446317B

公开(公告)日：2025-04-04

申请号：CN202210093434.5

申请日：2022-01-26

Applicant: 复旦大学

Inventor： 刘金羽 ,  冯瑞 ,  张玥杰

IPC: G10L21/028 ,  G10L25/12 ,  G10L25/18 ,  G10L25/57 ,  G06V20/40 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于视听觉多模态的视频音源分离方法，具有这样的特征，包括以下步骤：步骤1，对视频的视觉信息和听觉信息进行特征提取，得到视觉标签和听觉特征；步骤2，将视觉标签和听觉特征放入多实例多标签网络，得到听觉特征与视觉标签的关联值；步骤3，将视频和关联值放入音源分离网络中，得到每一个对象的单独声音，其中，步骤2中，多实例多标签网络的训练包括以下步骤：步骤2‑1，构建初始多实例多标签网络；步骤2‑2，将一个视频中所得到的所有音频特征向量作为训练集放入多实例多标签网络中训练，得到每个音频特征向量和所有视觉对象的关联特征图。