大模型预训练方法及装置
    11.
    发明公开

    公开(公告)号:CN117252250A

    公开(公告)日:2023-12-19

    申请号:CN202311176837.7

    申请日:2023-09-12

    Abstract: 本说明书一个或多个实施例公开了一种大模型预训练方法及装置。首先通过大模型的第一输入通道获取第一模态数据集,并通过大模型的第二输入通道获取第二模态数据集;然后将第一模态数据集中的模态数据输入到大模型中的第一编码器,得到第一表征信息,将第二模态数据集中包含的多种模态数据分别输入到大模型中的第二编码器,并将第二模态数据集对应第二编码器的输出结果进行表征融合处理,得到第二表征信息;最后将第一表征信息和第二表征信息映射到预设的特征空间,并基于特征空间的映射信息和预设的对比学习损失函数对大模型进行对比学习训练,得到预训练后的大模型,对比学习损失函数基于实体之间的表征相似性确定。

    一种模型训练及图数据的处理方法、装置、介质及设备

    公开(公告)号:CN116402108A

    公开(公告)日:2023-07-07

    申请号:CN202310264181.8

    申请日:2023-03-10

    Abstract: 本说明书公开了一种模型训练及图数据的处理方法、装置、介质及设备。生成对抗网络包含目标模型和对抗模型。通过将根据图数据确定的各训练样本输入目标模型,得到目标模型对各训练样本的预测结果,并根据预测结果和各训练样本的标注,确定目标模型对各训练样本进行预测的损失,作为第一损失。将各训练样本输入对抗模型,通过对抗模型模拟对各训练样本的分布进行调整。以根据第一损失预估目标模型对模拟出的调整分布后的各训练样本进行预测的损失,作为第二损失。以第二损失最小为目标训练目标模型,并以第二损失最大为目标训练对抗模型。通过生成对抗网络中目标模型与对抗模型间对抗性训练方式,最大化目标模型的最低性能,提升目标模型鲁棒性。

    风险识别方法、模型训练方法及对应装置

    公开(公告)号:CN116342290A

    公开(公告)日:2023-06-27

    申请号:CN202310264151.7

    申请日:2023-03-10

    Abstract: 本说明书实施例提供了一种风险识别方法、模型训练方法及对应装置。主要技术方案包括:获取利用用户的网络行为数据构建的网络图,网络图包括节点和边,节点为网络行为,两个节点之间的边为两个网络行为对应的相同用户;利用子网提取模型从网络图中提取目标节点对应的子网络;利用风险识别模型确定目标节点在子网络中的第一特征表示以及在网络图中的第二特征表示,利用第一特征表示和第二特征表示识别目标节点的风险信息,风险信息包括该目标节点对应的网络行为是否为风险行为,或者该目标节点对应的网络行为的风险等级信息。通过本说明书实施例能够提高对用户网络行为风险识别的准确性和可解释性。

    一种执行风险识别业务的方法、装置、存储介质及设备

    公开(公告)号:CN115545938B

    公开(公告)日:2023-03-28

    申请号:CN202211508342.5

    申请日:2022-11-29

    Abstract: 本说明书公开了一种执行风险识别业务的方法、装置、存储介质及设备,通过将历史全图数据拆为各子图数据,通过训练后的解释模型确定各子图数据中主体的权重,根据各子图数据中主体的权重确定历史全图数据中主体的权重,作为历史全图数据的标注,根据历史全图数据及历史全图数据的标注训练预降噪模型。当确定满足更新条件时确定当前全图数据,将当前全图数据输入训练后的预降噪模型,得到当前全图数据中各主体的权重,根据得到的权重,裁剪当前全图数据中的主体得到可信图。可在执行业务前基于预降噪模型输出的权重对当前全图数据进行裁剪,得到降噪后的可信图,接收到携带业务数据的风控业务请求时则可根据可信图确定业务数据对应的风险识别结果。

    训练图生成网络、训练图神经网络的方法及装置

    公开(公告)号:CN115545189A

    公开(公告)日:2022-12-30

    申请号:CN202211507953.8

    申请日:2022-11-29

    Abstract: 本说明书实施例提供一种训练图生成网络、训练图神经网络的方法及装置,该方法包括:获取从原始关系图中提取的第一子图,其中各样本节点对应各样本用户,样本用户包括至少一个风险用户,边表示各样本用户之间的关联关系;获取扰动节点集,其中包括由正常用户构成的目标节点,及目标节点的邻居节点;利用图生成网络,处理第一子图和扰动节点集,生成第一子图中至少一个样本节点和目标节点之间的预测边,通过在第一子图上添加扰动节点集,并用预测边连接至少一个样本节点和目标节点,构成第二子图;利用图判别网络,预测第二子图为原始子图的第一概率;以最大化第一概率为目标,训练图生成网络。

    一种资源链路确定的方法、装置及电子设备

    公开(公告)号:CN117252696A

    公开(公告)日:2023-12-19

    申请号:CN202311175198.2

    申请日:2023-09-12

    Abstract: 本说明书一个或多个实施例公开了一种资源链路确定的方法、装置及电子设备。所述方法包括:构建包含目标流转事件、在目标流转事件发生前的第一关联流转事件和目标流转事件发生后的第二关联流转事件的第一网络流图;在第一网络流图中添加虚拟源点和虚拟汇点,并将虚拟源点和第一关联流转事件对应的目标流转事件对应的节点以外的节点相连、将虚拟汇点和第二关联流转事件对应的目标流转事件对应的节点以外的节点相连,得到第二网络流图;从第二网络流图中的虚拟源点和所述虚拟汇点之间,确定包含目标流转事件对应的边的目标路径;将目标路径在第一网络流图中对应的边所表示的流转事件,作为目标流转事件对应的资源链路确定结果。

    处理交互事件的方法及装置

    公开(公告)号:CN112541129B

    公开(公告)日:2023-05-23

    申请号:CN202011409575.0

    申请日:2020-12-06

    Abstract: 本说明书实施例提供一种处理交互事件的方法及装置,在处理方法中,获取新增交互事件。在已有动态交互图中,确定出新增交互事件对应的两个目标节点,并建立新增连接边。至少对两个目标节点的节点信息进行融合,得到事件交互信息。根据两个目标节点各自所在最近历史交互事件与新增交互事件的交互时间差,以及事件交互信息,分别更新两个目标节点各自的隐含向量。确定各阶邻居节点。针对各阶邻居节点中任意的第一邻居节点,基于其所在最近历史交互事件与新增交互事件的交互时间差、第一邻居节点与对应目标节点的第一距离,以及两个目标节点各自的更新的隐含向量,确定对应于第一邻居节点的传播信息。根据传播信息,更新第一邻居节点的隐含向量。

Patent Agency Ranking