-
公开(公告)号:CN116982036A
公开(公告)日:2023-10-31
申请号:CN202280019212.7
申请日:2022-02-22
Applicant: 微软技术许可有限责任公司
IPC: G06F16/27
Abstract: 本文公开了用于分布式计算系统中的机器学习推理端点发现的技术。在一个示例中,一种方法包括搜索包含机器学习端点记录的数据库,该机器学习端点记录具有表示与部署在分布式计算系统中的推理端点相对应的执行时延或预测准确度的值的数据。该方法还包括:生成与各个目标值匹配的推理端点的列表,以及确定所生成的列表中的推理端点的计数是否超过预设阈值。响应于确定所识别的计数未超过预设阈值,该方法包括:基于接收到的查询中的各个目标值来实例化分布式计算系统中的一个或多个附加推理端点。