用于使用云计算平台的大型语言模型的负载测试和性能基准测试

    公开(公告)号:CN119836623A

    公开(公告)日:2025-04-15

    申请号:CN202380063979.4

    申请日:2023-09-21

    Abstract: 本文中所公开的技术使得系统能够执行用于在云计算环境中所部署的人工智能模型的可重复和迭代的负载测试和性能基准测试。这通过利用负载配置文件和基于负载配置文件所生成的代表性工作负载以评估各种工作负载上下文下的人工智能模型来实现。然后由人工智能模型利用可用的计算基础结构来执行代表性工作负载。从执行中提取性能度量并且对其进行分析以提供对诸如延迟和数据吞吐量之间的关系的各种性能动态的洞察。此外,动态地调整负载配置文件和输入数据集以评估不同的场景和用例使得系统能够跨不同的应用来自动测试人工智能模型。此外,通过比较人工智能模型的各种迭代,能够构建质量门以增强一致并且高质量的用户体验。

Patent Agency Ranking