公开(公告)号：CN112101462B

公开(公告)日：2022-04-19

申请号：CN202010974747.2

申请日：2020-09-16

Applicant: 北京邮电大学

Inventor： 王松 ,  胡燕祝 ,  徐小凤

IPC: G06K9/62 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G10L17/18 ,  G10L17/20

Abstract: 本发明涉及基于BMFCC‑GBFB‑DNN的机电设备视听信息融合方法，是一种对对现代化机电设备运行过程中分布式视觉信息和听觉信息融合的方法，属于目标追踪与神经网络领域，其特征在于采用如下步骤：(1)提取MFCC特征，确定听觉信息的F比；(2)确定MFCC参数加权后的表达式；(3)MFCC参数进行主成分分析；(4)提取听觉信息的GBFB特征；(5)将卷积后结果分解为子块矩阵；(6)图像的可听化处理；(7)搭建DNN架构。本发明利用BMFCC及GBFB提取听觉信息特征，极大地提高了特征的代表性和噪声的鲁棒性。利用DNN神经网络对视听信息融合，一定程度上提高了内容的丰富性以及融合的实时性。这说明本算法在机电设备视听信息融合时，能达到很好的效果。

公开(公告)号：CN112101462A

公开(公告)日：2020-12-18

申请号：CN202010974747.2

申请日：2020-09-16

Applicant: 北京邮电大学

Inventor： 王松 ,  胡燕祝 ,  徐小凤

IPC: G06K9/62 ,  G06N3/04 ,  G10L17/18 ,  G10L17/20

Abstract: 本发明涉及基于BMFCC‑GBFB‑DNN的机电设备视听信息融合方法，是一种对对现代化机电设备运行过程中分布式视觉信息和听觉信息融合的方法，属于目标追踪与神经网络领域，其特征在于采用如下步骤：(1)提取MFCC特征，确定听觉信息的F比；(2)确定MFCC参数加权后的表达式；(3)MFCC参数进行主成分分析；(4)提取听觉信息的GBFB特征；(5)将卷积后结果分解为子块矩阵；(6)图像的可听化处理；(7)搭建DNN架构。本发明利用BMFCC及GBFB提取听觉信息特征，极大地提高了特征的代表性和噪声的鲁棒性。利用DNN神经网络对视听信息融合，一定程度上提高了内容的丰富性以及融合的实时性。这说明本算法在机电设备视听信息融合时，能达到很好的效果。