一种基于混合专家结构大模型训练的多模态数据解析方法

    公开(公告)号:CN118551220A

    公开(公告)日:2024-08-27

    申请号:CN202410597545.9

    申请日:2024-05-14

    Abstract: 本发明公开了一种基于混合专家结构大模型训练的多模态数据解析方法,所述方法包括:获取历史多模态数据,并对历史多模态数据进行预处理,得到多组预处理多模态数据;获取预设大规模训练模型,根据预设大规模训练模型中的专家网络数量确定训练并行模式,并根据训练并行模式对多组预处理多模态数据进行切分处理,构建得到多模态数据训练集;根据多模态数据训练集对预设大规模训练模型进行模型训练,得到多模态数据解析模型;获取当前多模态数据,并将当前多模态数据输入至所述多模态数据解析模型,得到多模态数据解析结果。本发明通过构建多模态数据解析模型能够支持多模态数据并行处理以及多专家网络进行并行训练,实现了对多模态数据的高效解析。

    一种基于混合专家结构大模型训练的多模态数据解析方法

    公开(公告)号:CN118551220B

    公开(公告)日:2025-03-28

    申请号:CN202410597545.9

    申请日:2024-05-14

    Abstract: 本发明公开了一种基于混合专家结构大模型训练的多模态数据解析方法,所述方法包括:获取历史多模态数据,并对历史多模态数据进行预处理,得到多组预处理多模态数据;获取预设大规模训练模型,根据预设大规模训练模型中的专家网络数量确定训练并行模式,并根据训练并行模式对多组预处理多模态数据进行切分处理,构建得到多模态数据训练集;根据多模态数据训练集对预设大规模训练模型进行模型训练,得到多模态数据解析模型;获取当前多模态数据,并将当前多模态数据输入至所述多模态数据解析模型,得到多模态数据解析结果。本发明通过构建多模态数据解析模型能够支持多模态数据并行处理以及多专家网络进行并行训练,实现了对多模态数据的高效解析。

    文章生成方法、电子设备及存储介质

    公开(公告)号:CN115859922A

    公开(公告)日:2023-03-28

    申请号:CN202211440697.5

    申请日:2022-11-17

    Abstract: 本申请公开了一种文章生成方法、电子设备及存储介质,文章生成方法包括:获取文章题目,以利用题目编码器对文章题目进行编码,得到题目编码特征,利用规划解码器对题目编码特征进行文章规划预测,得到目标规划特征;进而,利用写作解码器按照目标规划特征和题目编码特征进行文章预测,得到与文章题目对应的目标预测文章。通过上述方式,本申请公开的文章生成方法可以将规划解码器和写作解码器分开使用,将文章规划和文章写作分离,以实现基于文章题目生成文章。

    情感分析模型训练方法、情感分析方法、设备及存储介质

    公开(公告)号:CN115719063A

    公开(公告)日:2023-02-28

    申请号:CN202211506938.1

    申请日:2022-11-24

    Abstract: 本申请公开了一种情感分析模型训练方法、情感分析方法、设备及存储介质,情感分析模型训练方法包括:获取用于情感分析的第一标注文本;对第一标注文本进行词性分析,得到名词集合;以及对第一标注文本进行情感词分析,得到情感词集合;基于名词集合和情感词集合,对第一标注文本进行掩码处理,得到目标文本序列;利用第一情感分析模型对目标文本序列进行依赖关系预测和掩码词预测,得到预测掩码词和预测依赖关系;利用真实掩码词和预测掩码词、真实依赖关系和预测依赖关系对第一情感分析模型进行网络参数调整,以使第一情感分析模型达到领域不变性表示学习的目的。通过上述方式,可以同时进行依赖关系预测和掩码词预测,以实现领域不变性学习。

    一种图片语义自动标注方法与系统

    公开(公告)号:CN103853792B

    公开(公告)日:2018-06-15

    申请号:CN201210521573.X

    申请日:2012-12-07

    Abstract: 本发明公开了一种图片语义自动标注方法与系统,涉及图像语义自动标注技术。本发明公开的系统包括:部件一、针对已带有图片标注的图片数据集,构建基于n元图片的索引;部件二、对待标注图片进行预处理,提取图像n元;部件三、从所构建的基于n元图片的索引中检索所提取的图像n元对应的所有语义标签,计算所检索出的图像n元对应的语义标签的概率值;部件四、更新所有语义标签的概率值;部件五、按照更新后的概率值对所有语义标签进行排序,将概率值排序中达到设定值的一个或多个语义标签输出。本发明还公开了一种图片语义自动标注方法。本申请技术方案应用于图像自动语义标注中,能快速、高效的挖掘出丰富的图像语义标注。

    一种图片语义自动标注方法与系统

    公开(公告)号:CN103853792A

    公开(公告)日:2014-06-11

    申请号:CN201210521573.X

    申请日:2012-12-07

    CPC classification number: G06F17/30268

    Abstract: 本发明公开了一种图片语义自动标注方法与系统,涉及图像语义自动标注技术。本发明公开的系统包括:部件一、针对已带有图片标注的图片数据集,构建基于n元图片的索引;部件二、对待标注图片进行预处理,提取图像n元;部件三、从所构建的基于n元图片的索引中检索所提取的图像n元对应的所有语义标签,计算所检索出的图像n元对应的语义标签的概率值;部件四、更新所有语义标签的概率值;部件五、按照更新后的概率值对所有语义标签进行排序,将概率值排序中达到设定值的一个或多个语义标签输出。本发明还公开了一种图片语义自动标注方法。本申请技术方案应用于图像自动语义标注中,能快速、高效的挖掘出丰富的图像语义标注。

    一种基于BERT的交互性元学习事件检测方法

    公开(公告)号:CN115712702A

    公开(公告)日:2023-02-24

    申请号:CN202211476055.0

    申请日:2022-11-23

    Abstract: 本发明公开了一种基于BERT的交互性元学习事件检测方法。方法包括:获取目标支持集,所述目标支持集包括至少一个参考数据集,所述参考数据集中包括至少一条参考数据;获取目标数据;将所述目标支持集与所述目标数据进行拼接编码,得到所述目标数据对应的事件类型;获取目标参考数据集,所述目标参考数据集对应的事件类型与所述目标数据对应的事件类型相同,将所述目标参考数据集与所述目标数据进行拼接编码,得到所述目标数据中的事件触发词。本发明提供的基于BERT的交互性元学习事件检测方法,能更好的检测句子中的事件单词,提高对检测句子中事件单词的准确性。

    基于神经分治推理框架的复杂文本-图像检索方法及设备

    公开(公告)号:CN116975316A

    公开(公告)日:2023-10-31

    申请号:CN202310499615.2

    申请日:2023-05-05

    Abstract: 本发明公开了基于神经分治推理框架的复杂文本‑图像检索方法及设备,所述方法包括:构建端到端的神经分治推理框架,获取语言复杂文本和一组相似的图像;神经分治推理框架将语言复杂文本进行划分得到简单命题句,并处理得到全局表示;神经分治推理框架将获取图像的图像编码与全局表示进行融合得到融合序列,并进行上下文信息交互得到初始推理状态;对所述初始推理状态进行处理得到第一目标置信度分数;神经分治推理框架基于推理状态得到第二目标置信度分数;将第一目标置信度分数和第二目标置信度分数结合得到对应的目标图像。本发明提出的推理框架解决了复杂文本‑图像检索任务中简单命题分解错误或缺失的问题,显著提高图像推理性能。

    笔画层级手写字符序列识别方法、装置、终端及存储介质

    公开(公告)号:CN114612911B

    公开(公告)日:2022-11-29

    申请号:CN202210095671.5

    申请日:2022-01-26

    Abstract: 本发明公开了一种笔画层级手写字符序列识别方法、装置、终端及存储介质,其中,上述方法包括:获取待识别手写字符的笔画图片序列;基于所述笔画图片序列,根据编码端神经网络模型获得笔画序列特征;基于已识别字符序列,获取字符序列特征;基于交叉注意力机制,将所述字符序列特征和所述笔画序列特征输入解码端单向多头自注意力层,获得所述待识别手写字符的语义特征向量;基于所述语义特征向量和所述笔画序列特征,根据神经网络模型获得所述待识别手写字符的识别结果。与现有技术相比,本发明通过将手写字符序列的上下文语义信息与手写字符的笔画特征融合,能够准确识别非完整笔画字符,提高识别效率,实现高鲁棒性的手写汉字序列识别。

    笔画层级手写字符序列识别方法、装置、终端及存储介质

    公开(公告)号:CN114612911A

    公开(公告)日:2022-06-10

    申请号:CN202210095671.5

    申请日:2022-01-26

    Abstract: 本发明公开了一种笔画层级手写字符序列识别方法、装置、终端及存储介质,其中,上述方法包括:获取待识别手写字符的笔画图片序列;基于所述笔画图片序列,根据编码端神经网络模型获得笔画序列特征;基于已识别字符序列,获取字符序列特征;基于交叉注意力机制,将所述字符序列特征和所述笔画序列特征输入解码端单向多头自注意力层,获得所述待识别手写字符的语义特征向量;基于所述语义特征向量和所述笔画序列特征,根据神经网络模型获得所述待识别手写字符的识别结果。与现有技术相比,本发明通过将手写字符序列的上下文语义信息与手写字符的笔画特征融合,能够准确识别非完整笔画字符,提高识别效率,实现高鲁棒性的手写汉字序列识别。

Patent Agency Ranking