用于使用云计算平台的大型语言模型的负载测试和性能基准测试

    公开(公告)号:CN119836623A

    公开(公告)日:2025-04-15

    申请号:CN202380063979.4

    申请日:2023-09-21

    Abstract: 本文中所公开的技术使得系统能够执行用于在云计算环境中所部署的人工智能模型的可重复和迭代的负载测试和性能基准测试。这通过利用负载配置文件和基于负载配置文件所生成的代表性工作负载以评估各种工作负载上下文下的人工智能模型来实现。然后由人工智能模型利用可用的计算基础结构来执行代表性工作负载。从执行中提取性能度量并且对其进行分析以提供对诸如延迟和数据吞吐量之间的关系的各种性能动态的洞察。此外,动态地调整负载配置文件和输入数据集以评估不同的场景和用例使得系统能够跨不同的应用来自动测试人工智能模型。此外,通过比较人工智能模型的各种迭代,能够构建质量门以增强一致并且高质量的用户体验。

    虚拟机级分散式服务管理
    2.
    发明公开

    公开(公告)号:CN118020060A

    公开(公告)日:2024-05-10

    申请号:CN202280060601.4

    申请日:2022-05-17

    Abstract: 本公开内容提供了用于在云服务平台中的虚拟机处实现虚拟机级分散式服务管理的方法、装置和虚拟机。所述虚拟机可以包括在与目标服务相关联的虚拟机集合中。可以从所述云服务平台中的控制面接收指示与所述目标服务相关联的动作的、针对所述目标服务的动作执行请求,并且可以基于所述动作执行请求生成动作执行事件。替代地,可以从所述虚拟机集合中的第二虚拟机接收指示与所述目标服务相关联的动作的、针对所述目标服务的动作执行事件。所述动作执行事件可以在所述虚拟机集合中传播。在所述虚拟机处的所述动作的所述执行可以至少基于所述动作执行事件而被触发。

Patent Agency Ranking