一种基于多模态大数据的互联网短视频情绪识别方法

    公开(公告)号:CN117333924A

    公开(公告)日:2024-01-02

    申请号:CN202311411712.8

    申请日:2023-10-27

    Abstract: 本发明涉及一种基于多模态大数据的互联网短视频情绪识别方法,包括:利用短视频中的文本、音频和视频帧信息进行情绪识别,具体包括将文本,音频,视频帧分别编码;使用动态自适应的多层双向LSTM网络融合模态信息;原始音频信息和原始文本信息进行模态间对比学习;原始音频信息和原始视频信息进行模态内部对比学习;原始音频信息、原始文本信息和原始视频信息进行局部与全局的对比学习;利用bert模型获得视频与音频的联合信息;对联合特征向量与文本特征向量采用双编码器进行联合编码,本发明通过动态自适应调整双向LSTM的层数来增强模型的特征表达能力,通过多角度下的对比学习增强特征的表达能力,从而提高了情绪识别任务的能力。

    一种基于提示学习的电商图文分类方法及系统

    公开(公告)号:CN115761314A

    公开(公告)日:2023-03-07

    申请号:CN202211383104.6

    申请日:2022-11-07

    Abstract: 本发明属于计算机视觉和自然语言处理领域,具体涉及一种基于提示学习的电商图文分类方法及系统;该方法包括:获取电商图文信息并将其输入到预训练模型中,得到图像向量和文本向量;指定关键字,对关键字和图像向量进行处理,得到初始提示模板;根据图像向量,采用CLIP模型对初始提示模板进行训练,得到多个候选提示模板;随机选择两个候选提示模板和图像向量进行对比学习,得到图像特征向量;对文本向量进行处理,得到文本特征向量;对图像特征向量和文本特征向量进行对比学习,得到图文特征向量;将图文特征向量输入到融合层,得到图文融合特征;采用分类器对图文融合特征进行分类,得到电商图文分类结果;本发明分类结果精度高,实用性高。

    一种基于多模态特征融合的新闻分类方法

    公开(公告)号:CN115588122A

    公开(公告)日:2023-01-10

    申请号:CN202211383002.4

    申请日:2022-11-07

    Abstract: 本发明属于文本分类领域,具体涉及一种基于多模态特征融合的新闻分类方法,包括:获取原始新闻样本数据;对原始新闻文本进行特征提取得到原始新闻文本向量,对每个原始新闻配图进行特征提取得到每个原始新闻配图的图片序列向量;将原始新闻文本向量和所有原始新闻配图的图片序列向量输入新闻分类模型进行训练;获取目标新闻样本数据,得到目标新闻文本向量和多个目标新闻配图的图片序列向量,将目标新闻文本向量和多个目标新闻配图的图片序列向量输入新闻分类模型得到目标新闻样本数据的分类结果,本发明通过对新闻文本和新闻中的配图进行特征提取从而对用户上传至社交平台的新闻进行分类,使分类的结果具有更高的准确性和可信度。

Patent Agency Ranking