公开(公告)号：CN119760504A

公开(公告)日：2025-04-04

申请号：CN202411843451.1

申请日：2024-12-14

Applicant: 北京工商大学

Inventor： 刘佳明 ,  李宗徽 ,  韩忠明

IPC: G06F18/241 ,  G06F18/21 ,  G06F18/25 ,  G06F40/16 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/0455 ,  G06F123/02

Abstract: 本发明公开了一种基于BLT‑BiLSTM的多模态数据时间序列目标预测方法及系统，应用于多模态数据融合预测技术领域。方法包括以下步骤：获取结构化数据、文本数据、音频数据；使用LLM模型对音频数据进行文本提取及情绪识别生成音频文本数据，并使用Chinese‑BERT‑wwm模型对音频文本数据及文本数据进行词向量特征提取，选取有良好识别能力的词向量；将音频文本特征、文本特征和结构化数据特征输入Transformer模型，输出具有良好预测效果的特征；将融合好的特征作为输入集，输入BiLSTM模型进行预测。本发明优化了传统的音频、文本、结构化数据多模态特征硬拼接融合方式改用Transformer模型进行特征融合，使用BiLSTM对时序数据预测的准确率上有提高。