一种模型训练数据处理方法、装置与电子设备

    公开(公告)号:CN118378723B

    公开(公告)日:2024-09-13

    申请号:CN202410813561.7

    申请日:2024-06-21

    Abstract: 本公开提供一种模型训练数据处理方法、装置与电子设备,涉及数据处理技术领域。模型训练数据处理方法包括:获取包括多个训练文本的待处理模型训练数据,对每个所述训练文本进行分词预处理,以得到与每个训练文本对应的词汇集合;根据所述词汇集合提取每个所述训练文本的K个关键词,根据所述K个关键词将所述多个训练文本分为多组,K≥1;生成每个所述词汇集合内每个词汇的词向量;对每个训练文本,根据一个所述词汇与所述关键词的距离确定该词汇的权值,根据所述训练文本对应的多个词汇的词向量以及所述权值确定所述训练文本的文本向量;在同组内对所述文本向量的相似度大于预设阈值的训练文本进行去重。本公开实施例可以提高模型训练效率。

    文本的生成方法、装置、电子设备及计算机程序产品

    公开(公告)号:CN119848242A

    公开(公告)日:2025-04-18

    申请号:CN202411910379.X

    申请日:2024-12-23

    Abstract: 本公开涉及一种文本的生成方法、装置、电子设备及计算机程序产品,属于自然语言处理技术领域。该方法包括:获取用户的输入文本,并根据所述输入文本得到与所述输入文本相关的候选文本;将所述输入文本和所述候选文本输入文本过滤模型中,其中,所述文本过滤模型中包括字符匹配子模型、相似度匹配子模型和互依性度量子模型;通过所述文本过滤模型中的子模型对所述候选文本进行过滤,得到所述子模型对应的过滤结果;根据各个所述子模型的过滤结果得到所述输入文本对应的目标匹配文本,并根据所述目标匹配文本生成所述输入文本对应的输出文本。本公开通过精确过滤不相关信息,可以减少信息过载和干扰,从而大幅提升文本生成质量。

    一种模型训练数据处理方法、装置与电子设备

    公开(公告)号:CN118378723A

    公开(公告)日:2024-07-23

    申请号:CN202410813561.7

    申请日:2024-06-21

    Abstract: 本公开提供一种模型训练数据处理方法、装置与电子设备,涉及数据处理技术领域。模型训练数据处理方法包括:获取包括多个训练文本的待处理模型训练数据,对每个所述训练文本进行分词预处理,以得到与每个训练文本对应的词汇集合;根据所述词汇集合提取每个所述训练文本的K个关键词,根据所述K个关键词将所述多个训练文本分为多组,K≥1;生成每个所述词汇集合内每个词汇的词向量;对每个训练文本,根据一个所述词汇与所述关键词的距离确定该词汇的权值,根据所述训练文本对应的多个词汇的词向量以及所述权值确定所述训练文本的文本向量;在同组内对所述文本向量的相似度大于预设阈值的训练文本进行去重。本公开实施例可以提高模型训练效率。

    视觉问答模型的训练、视觉问答任务处理方法及装置

    公开(公告)号:CN116894996A

    公开(公告)日:2023-10-17

    申请号:CN202310833232.4

    申请日:2023-07-07

    Abstract: 本公开涉及机器学习技术领域,涉及一种视觉问答模型的训练方法及装置、视觉问答任务处理方法及装置、计算机可读存储介质及电子设备,视觉问答模型的训练方法包括:获取初始训练数据,初始训练数据包括图文输入数据以及图文输入数据对应的真值答案,其中,图文输入数据包括图像特征数据和文本特征数据;将图文输入数据输入至第一初始模型得到第一参考答案;基于第一参考答案和真值答案对初始训练数据进行筛选得到第一目标训练数据;利用第一目标训练数据的第一参考答案以及对应的真值答案更新第二初始模型得到视觉问答模型;其中,第一初始模型和第二初始模型的模型架构一致。本公开实施例的技术方案提高了得到视觉问答模型的处理精度。

    模型训练方法、装置及计算机设备

    公开(公告)号:CN118608854A

    公开(公告)日:2024-09-06

    申请号:CN202410757285.7

    申请日:2024-06-12

    Abstract: 本申请公开了一种模型训练方法、装置及计算机设备。其中,该方法包括:获取多种网络设备的图像;对多种网络设备的图像进行处理,得到初始训练数据集,并采用初始模型中的多个模块依次对初始训练数据集进行特征提取,得到适配网络设备检测的全局特征,多个模块中至少包括用于采用多种方式生成全局特征中的异常特征的异常生成器,异常特征用于表征异常网络设备的图像特征;采用全局特征对初始模型中的异常评判器进行训练,得到目标模型,其中,异常评判器用于对全局特征进行分类。本申请解决了相关技术中由于异常数据较少导致网络设备检测模型的检测效果较差的技术问题。

Patent Agency Ranking