公开(公告)号：CN115460462B

公开(公告)日：2024-10-01

申请号：CN202211132338.3

申请日：2022-09-17

Applicant: 东南大学

Inventor： 伍家松 ,  吴婷婷 ,  孙威 ,  杨淳沨 ,  孔佑勇 ,  章品正 ,  陈阳 ,  舒华忠

IPC: H04N21/4402 ,  H04N21/845 ,  H04N21/439 ,  G10L13/02 ,  G10L21/0208 ,  G06V20/40 ,  G06V40/16 ,  G06F16/483

Abstract: 本发明公开了一种粤语新闻视频中自动裁剪含主播的视听数据集的方法，该方法把粤语新闻视频裁剪为视频、语音两个模态的数据集合，其中每一段数据都只包含主持人进行新闻播报的场景。该方法基于HSV图像信息检测算法进行整个新闻场景的分割，基于FaceRecognition人脸检测库和人脸特征提取工具进行包含目标主播人脸的视频识别，基于语音活动检测算法对音频进行切分，再根据切分停顿点对视频进行切分，实现自动完成粤语新闻中裁剪含主播的视听数据集的制作。通过设计的合理的流程和使用高效的算法，提高了构建粤语高质量视听数据集的效率，并能够方便地推广到其他语言的视听数据集制作中，最终能应用于如粤语场景下语音去噪、音视频驱动的人脸生成模型的训练中。

公开(公告)号：CN115460462A

公开(公告)日：2022-12-09

申请号：CN202211132338.3

申请日：2022-09-17

Applicant: 东南大学

Inventor： 伍家松 ,  吴婷婷 ,  孙威 ,  杨淳沨 ,  孔佑勇 ,  章品正 ,  陈阳 ,  舒华忠

IPC: H04N21/4402 ,  H04N21/845 ,  H04N21/439 ,  G10L13/02 ,  G10L21/0208 ,  G06V20/40 ,  G06V40/16 ,  G06F16/483

Abstract: 本发明公开了一种粤语新闻视频中自动裁剪含主播的视听数据集的方法，该方法把粤语新闻视频裁剪为视频、语音两个模态的数据集合，其中每一段数据都只包含主持人进行新闻播报的场景。该方法基于HSV图像信息检测算法进行整个新闻场景的分割，基于FaceRecognition人脸检测库和人脸特征提取工具进行包含目标主播人脸的视频识别，基于语音活动检测算法对音频进行切分，再根据切分停顿点对视频进行切分，实现自动完成粤语新闻中裁剪含主播的视听数据集的制作。通过设计的合理的流程和使用高效的算法，提高了构建粤语高质量视听数据集的效率，并能够方便地推广到其他语言的视听数据集制作中，最终能应用于如粤语场景下语音去噪、音视频驱动的人脸生成模型的训练中。