一种推理方法、相关装置及推理系统

    公开(公告)号:CN119918679A

    公开(公告)日:2025-05-02

    申请号:CN202510419806.2

    申请日:2025-04-03

    Abstract: 本申请公开了一种推理方法、相关装置及推理系统,应用于推理加速技术领域,推理方法包括:云端服务器通过对第一模型进行模型蒸馏得到第二模型,通过复制第二模型得到影子模型,将第二模型发送至终端;终端在本地部署第二模型,利用本地的第二模型对用户请求进行推理;终端将推理相关数据发送至云端服务器;云端服务器利用推理相关数据,辅以第一模型对影子模型进行参数优化,将影子模型的优化后参数发送至终端;终端根据影子模型的优化后参数对本地的第二模型进行参数优化。由于推理过程由端侧的本地小模型完成,因此,本申请公开的推理方法具有较高的推理速度,另外,本申请提供的推理方法可通过云侧的影子模型实现对于端侧模型的优化。

    广告点击预测方法、装置、电子设备和存储介质

    公开(公告)号:CN115953205A

    公开(公告)日:2023-04-11

    申请号:CN202211736650.3

    申请日:2022-12-30

    Abstract: 本发明提供一种广告点击预测方法、装置、电子设备和存储介质,涉及数据处理技术领域,其中,广告点击预测方法包括:获取广告物料数据和用户的历史广告数据;历史广告数据包括点击过的至少一个历史图像素材数据的第一类别信息;广告物料数据包括目标广告的图像素材数据;确定图像素材数据中的图像特征和语义特征,并将图像特征和语义特征进行融合,得到多模态特征;基于多模态特征确定图像素材数据的第二类别信息;基于每个第一类别信息和第二类别信息,确定用户对目标广告的点击率。本发明考虑的因素不仅包括图像特征,还包括语义特征,从而提高了点击率预测的准确性。

    一种服务节点的性能测试方法、装置、设备及存储介质

    公开(公告)号:CN112350894A

    公开(公告)日:2021-02-09

    申请号:CN202011222190.3

    申请日:2020-11-05

    Abstract: 本申请提供了一种服务节点的性能测试方法、装置、设备及存储介质,方法包括:获取服务集群中负载均衡节点的配置文件,以及为服务集群中的指定服务节点预设的阶梯测试目标,其中,配置文件中包含各服务节点分别对应的权重,阶梯测试目标包含由低至高的多级测试目标;按由低至高的顺序,从阶梯测试目标中逐个获取测试目标;针对当前获取的测试目标,基于该测试目标更新配置文件中指定服务节点对应的权重,确定指定服务节点在更新后权重下的服务健康度,基于服务健康度判断是否继续获取下一测试目标,若否,则确定指定服务节点的处理性能在该测试目标和低一级测试目标之间。本申请提供的测试方法具有较高的测试效率和较好的测试效果。

    批改方法、装置、电子设备及存储介质

    公开(公告)号:CN118708687A

    公开(公告)日:2024-09-27

    申请号:CN202410794393.1

    申请日:2024-06-19

    Abstract: 本申请提供一种批改方法、装置、电子设备及存储介质,属于教育技术领域,该方法包括:获取用户作答数据;运用管道对所述用户作答数据依次进行特征提取处理、标准化处理、泛化处理以及批改处理,得到基于管道处理流程和规则进行判断的第一批改结果;采用至少一个大模型对经过泛化处理的数据进行批改处理,得到利用大模型的智能算法和学习能力进行分析和判断的第二批改结果;根据所述第一批改结果和所述第二批改结果,确定最终批改结果。本申请可以实现各类题型的自动批改并提高批改的准确性。

    数据预测方法、预测大模型训练方法及相关装置

    公开(公告)号:CN119721215A

    公开(公告)日:2025-03-28

    申请号:CN202510242434.0

    申请日:2025-03-03

    Abstract: 本申请公开了一种数据预测方法、预测大模型训练方法及相关装置,该方法包括:构建本次的n条输入数据,其中,各条输入数据均包括当前已预测数据、分别指示本次待预测的一数据单元的位置,每条输入数据指示的位置不同,n大于一;利用预测大模型分别基于各条输入数据执行目标预测任务,得到n个预测数据单元;将n个预测数据单元添加至当前已预测数据中,得到更新后的当前已预测数据,其中,各预测数据单元在当前已预测数据中的位置与对应的输入数据序列所指示的位置匹配;重复上述步骤,直至满足数据预测完成条件,并基于最新的当前已预测数据得到目标预测任务的预测结果。通过上述方式,本申请能够提高数据的预测效率。

    题块划分方法、装置、电子设备及存储介质

    公开(公告)号:CN118779449A

    公开(公告)日:2024-10-15

    申请号:CN202410848438.9

    申请日:2024-06-27

    Abstract: 本申请提供一种题块划分方法、装置、电子设备及存储介质,属于教育技术领域,该方法包括:获取表示试卷内容的原始序列和要素序列;通过第一编码器对原始序列进行编码以提取其语义信息,生成第一语义表示;并通过第二编码器对所述要素序列进行编码以提取其结构信息,生成第二语义表示;将第一语义表示和第二语义表示进行拼接以融合试卷的语义和结构信息,得到试卷语义表示;通过解码器对试卷语义表示进行解码,生成标签序列,标签序列用于表示试卷中每行内容在题块结构中的位置。本申请减少了规则依赖性,提高了信息的利用效率,并且通过解码过程引入了学习机制,使得模型能够适应不同的试卷内容和结构。

    多媒体资源分类方法、装置、电子设备和存储介质

    公开(公告)号:CN114254138A

    公开(公告)日:2022-03-29

    申请号:CN202111528642.5

    申请日:2021-12-14

    Abstract: 本发明提供一种多媒体资源分类方法、装置、电子设备和存储介质,所述方法包括:确定待分类的多媒体资源中的图像,以及多媒体资源中的展示文本和/或语音文本;语音文本是对多媒体资源中的音频进行语音识别后得到的;基于图像,以及展示文本和/或语音文本,得到多媒体资源的分类结果。本发明提供的多媒体资源分类方法、装置、电子设备和存储介质,能够进一步提高多媒体资源分类的精度。

Patent Agency Ranking