推理系统的构建方法、装置、系统、设备、介质及产品

    公开(公告)号:CN118246548A

    公开(公告)日:2024-06-25

    申请号:CN202410262079.9

    申请日:2024-03-07

    Abstract: 本申请提供了推理系统的构建方法、装置、系统、设备、介质及产品,该方法包括:将测试视频序列的各测试视频帧按照视频帧顺序依次输入至第一推理系统的推理实例进行模型推理,确定所述测试视频序列中每帧测试视频帧对应的推理时间;其中,所述第一推理系统包括多个不同的深度学习推理框架,所述推理实例包括部署在所述第一推理系统中不同深度学习推理框架下的计算机视觉模型的推理实例;根据测试视频序列中每帧测试视频帧对应的推理时间,确定不同深度学习推理框架的推理时间;根据不同深度学习推理框架的推理时间,调整不同深度学习推理框架下的推理实例数量,得到第二推理系统。根据本申请的技术方案,能够有效提升模型推理的效率。

Patent Agency Ranking