公开(公告)号：CN112863538B

公开(公告)日：2022-06-14

申请号：CN202110208096.0

申请日：2021-02-24

Applicant: 复旦大学

Inventor： 何梦雨 ,  程颖 ,  冯瑞

IPC: G10L21/0272 ,  G10L21/0208 ,  G10L25/57 ,  G10L25/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于视听网络的多模态语音分离方法及装置，用于从待分离音视频中分离出画面中说话人的语音，其特征在于，包括如下步骤：利用第一预处理方法对第一音视频训练数据处理得到第一预处理数据；构建多模态网络模型；将第一预处理数据输入多模态网络模型训练，得到音视频对齐判断模型；利用第二预处理方法对第二音视频训练数据处理得到第二预处理数据；搭建Wave‑U‑Net分割模型，并与音视频对齐判断模型构成视听模型；将第二预处理数据输入视听模型训练，得到视音频分割模型；将待分离音视频输入视音频分割模型得到画面中说话人的语音。其中，将第二预处理数据中的各个子集按照说话人个数由小到大的顺序逐步输入视听模型进行训练。

公开(公告)号：CN114428914A

公开(公告)日：2022-05-03

申请号：CN202210102364.5

申请日：2022-01-27

Applicant: 复旦大学

Inventor： 何梦雨 ,  冯瑞

IPC: G06F16/9536 ,  G06F16/35 ,  G06F16/335 ,  G06F16/33 ,  G06F40/284 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于图注意网络的灾难信息过滤方法，具有这样的特征，使用图注意网络理解帖子的单词和相应信息类型之间的相关性，过滤得到可执行的信息，包括以下步骤：步骤1，对数据集中的帖子进行预处理，得到预处理后的数据；步骤2，搭建信息过滤网络模型；步骤3，把预处理后的数据输入信息过滤网络模型中进行训练，得到训练完成的信息过滤网络模型；步骤4，将待分类的帖子输入训练完成的信息过滤网络模型，得到分类结果。其中，信息过滤网络包括BERT编码器、图注意网络以及关系网络。本发明还公开了一种基于图注意网络的灾难信息过滤系统，包括预处理部和信息过滤部。

公开(公告)号：CN112863538A

公开(公告)日：2021-05-28

申请号：CN202110208096.0

申请日：2021-02-24

Applicant: 复旦大学

Inventor： 何梦雨 ,  程颖 ,  冯瑞

IPC: G10L21/0272 ,  G10L21/0208 ,  G10L25/57 ,  G10L25/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于视听网络的多模态语音分离方法及装置，用于从待分离音视频中分离出画面中说话人的语音，其特征在于，包括如下步骤：利用第一预处理方法对第一音视频训练数据处理得到第一预处理数据；构建多模态网络模型；将第一预处理数据输入多模态网络模型训练，得到音视频对齐判断模型；利用第二预处理方法对第二音视频训练数据处理得到第二预处理数据；搭建Wave‑U‑Net分割模型，并与音视频对齐判断模型构成视听模型；将第二预处理数据输入视听模型训练，得到视音频分割模型；将待分离音视频输入视音频分割模型得到画面中说话人的语音。其中，将第二预处理数据中的各个子集按照说话人个数由小到大的顺序逐步输入视听模型进行训练。