公开(公告)号：CN115545093A

公开(公告)日：2022-12-30

申请号：CN202211107885.6

申请日：2022-09-13

Applicant: 珠海高凌信息科技股份有限公司

Inventor： 鲍尚策 ,  刘立峰 ,  刁海峰 ,  于晓涛 ,  母健康 ,  王文重 ,  张建军

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多模态数据的融合方法、系统及存储介质，方法包括：获取多模态原始数据；对文本数据进行分词编码操作，结合卷积神经网络提取得到预设维度的文本特征；对语音数据进行端点检测，结合语音特征提取工具包提取得到预设维度的语音特征；对视频数据进行序列化处理，结合循环神经网络提取得到预设维度的视频特征；对文本特征、语音特征和视频特征进行对齐拼接处理，得到预设通道的特征向量；根据特征向量，通过多核分类模型进行线性连接，得到多模态特征分类结果。本发明能够实现对文本、语音和视觉的多模态数据的统一特征提取和融合，从而促进从单模态数据到多模态数据的分析和应用，可广泛应用于数据处理技术领域。