检验大模型损失上界可靠性的方法及装置

    公开(公告)号:CN119783773A

    公开(公告)日:2025-04-08

    申请号:CN202411756442.9

    申请日:2024-12-02

    Abstract: 本说明书实施例提供一种检验大模型损失上界可靠性的方法及装置,在大模型的训练过程既更新模型参数又更新超参数的情况下,对于估算的大模型损失上界进行可靠性检验。具体地,选择特殊数据集,以寻找一个在大模型上损失尽可能大的评测数据集,并确定在评测数据集上的评测损失,检验评测损失是否足够接近损失上界,从而检验损失上界是否合理的、稳定的。其中,所获取的评测数据集,满足相同样本在不同更新规则下更新得到的更新结果之间的距离大于第一数值的发散性、相同更新规则在不同样本上更新得到的更新结果之间的距离大于相应样本的参数之间距离的第二倍数的增长性,以使得评测损失尽可能大。以上技术方案可以检验大模型损失上界的鲁棒性。

    一种资源调配方法、装置以及设备

    公开(公告)号:CN114840342B

    公开(公告)日:2025-01-24

    申请号:CN202210519426.2

    申请日:2022-05-13

    Abstract: 本说明书实施例公开了一种资源调配方法、装置以及设备,属于机器学习技术领域。方案包括:确定确定与可用资源相关的业务属性,并待预测的用于描述所述业务属性变化情况的宏观时间序列所对应的多个微观时间序列;对所述多个微观时间序列进行聚类,得到多个微观时间序列组;分别对各所述微观时间序列组进行预测,得到各所述微观时间序列组的预测值;根据各所述微观时间序列组的预测值,预测得到所述宏观时间序列的预测值;根据所述宏观时间序列的预测值,向所述业务属性对应的业务调配所述可用资源。

    训练分组模型,以及对时序数据进行分组的方法和装置

    公开(公告)号:CN113822371B

    公开(公告)日:2024-11-22

    申请号:CN202111163343.6

    申请日:2021-09-30

    Abstract: 本说明书实施例提供了训练分组模型,以及对时序数据进行分组的方法。训练分组模型的方法包括以下步骤:获取时序样本集,其中任意样本包括,单个业务对象在n个时段的n个指标值构成的序列。将上述样本输入分组模型,得到该样本分属于K个分组的预测概率分布。此外,还将该样本分别输入与K个分组对应的K个解码网络,得到K个重构样本。于是,可以根据样本集中各个样本的预测概率分布与预设的先验分布,确定总分布损失;并根据各个样本分别对应的K个重构样本,以及预测概率分布,确定总重构损失。然后根据总分布损失和总重构损失,训练分组模型和K个解码网络。在训练之后,可以利用训练好的分组模型,对微观时序样本进行分组。

    一种针对多塔神经网络的模型训练方法及装置

    公开(公告)号:CN118917379A

    公开(公告)日:2024-11-08

    申请号:CN202410918883.8

    申请日:2024-07-09

    Abstract: 本说明书一个或多个实施例提供一种针对多塔神经网络的模型训练方法及装置,包括:基于获取的样本集以及样本集中每个样本所对应的多源噪声标记组,通过第一损失函数对多塔神经网络进行第一阶段训练;确定每一样本分别对应于各个标记源视角的多源聚合输出概率;基于由第一损失函数与第二损失函数构建的目标损失函数对多塔神经网络进行第二阶段训练;第二损失函数为多塔神经网络在每一标记源视角下分别对样本集中的每一样本输出的概率值与相应样本对应于相应标记源视角的多源聚合输出概率之间的损失的加权平均值,任一标记源视角下对任一样本对应的损失的权重与多塔神经网络在该标记源视角下对该样本的认知的可靠程度呈负相关。

    基于医疗知识库的查询处理方法和装置

    公开(公告)号:CN118132680B

    公开(公告)日:2024-09-03

    申请号:CN202410545207.0

    申请日:2024-04-30

    Abstract: 本说明书实施例提供一种基于医疗知识库的查询处理方法和装置,其中,医疗知识库包括知识图谱,知识图谱中的节点包括标准词节点和词条节点,各词条节点具有对应子图作为其词条索引。方法包括:从查询请求中提取若干医学术语;基于若干医学术语,查询知识图谱,获得关联词查询结果和词条查询结果,关联词查询结果至少包括查询到的标准词节点,词条查询结果包括若干备选词条节点;根据关联词查询结果,确定查询请求与若干备选词条节点各自对应的子图的相关性得分;根据相关性得分,确定出目标词条,将对应的词条内容归入查询处理结果。能够提升查询到的词条的准确率。

    一种基于知识图谱的医疗LLM模型推理方法及相关设备

    公开(公告)号:CN118095450B

    公开(公告)日:2024-08-13

    申请号:CN202410521286.1

    申请日:2024-04-26

    Abstract: 本说明书提供了一种基于知识图谱的医疗LLM模型推理方法及相关设备。知识图谱包含多个节点和连接节点的边,节点代表实体,边代表实体之间的关系。该方法包括:获取用户输入的目标文本,确定目标文本中是否包含与知识图谱中的节点对应的实体;如果是,则在知识图谱中查找出与所述实体相关的子图;获取保存的用户在所述目标文本之前输入的历史文本,并基于历史文本中包含的用户信息,对子图中包含的属性与所述用户信息不匹配的边进行裁剪,得到目标子图;根据目标子图和目标文本构建提示词,并将所述提示词输入至第一LLM模型中,由所述第一LLM模型基于所述提示词执行逻辑推理,并输出与所述目标文本对应的推理结果。

    一种针对元素组合的业务处理方法、装置以及设备

    公开(公告)号:CN118247043A

    公开(公告)日:2024-06-25

    申请号:CN202410430374.0

    申请日:2024-04-10

    Abstract: 本说明书实施例公开了一种针对元素组合的业务处理方法、装置以及设备。方案包括:确定包含多个候选元素的候选组合,以及确定预先相应训练过的神经网络模型;利用非负单调非减的凹激活函数,获取所述候选组合整体的非负特征;利用所述神经网络模型,对所述候选组合整体的非负特征进行处理,得到反映了所述候选组合整体符合指定目标的可能性的处理结果,其中,所述神经网络模型所使用的权重为非负权重,所使用的激活函数为非负单调非减的凹激活函数,若所述候选组合中指定的部分候选元素符合所述指定目标,则所述候选组合整体符合所述指定目标;根据所述处理结果,确定是否根据所述候选组合,执行与所述指定目标相关的业务。

Patent Agency Ranking