-
公开(公告)号：CN119783775A
公开(公告)日：2025-04-08
申请号：CN202411818719.6
申请日：2024-12-11
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种代码生成器的自动调优方法、装置、存储介质、程序产品，该方法包含：依据给定的大模型推理芯片的特性定义搜索空间，将给定的搜索算法集成到所述大模型推理芯片的软件开发环境中，并利用给定的搜索算法，经过多轮循环，生成参数列表种群，所述参数列表种群包含若干参数列表；根据所述参数列表种群配置具体模板参数，生成核函数的定义部分、流水缓冲级以及结果寄存器转存到全局内存的过程；通过编译器编译生成的核函数，并在所述大模型推理芯片上执行，对生成的所述核函数进行性能测量，获取核函数性能指标，并将所述参数列表种群和对应的核函数性能指标作为键值对加入到所述性能字典中。
-
公开(公告)号：CN111290767B
公开(公告)日：2021-06-08
申请号：CN202010063953.8
申请日：2020-01-20
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种具有业务快速恢复功能的容器组更新方法及系统，包括：根据对容器组的更新请求，暂停该容器组的服务，通过比较更新请求和容器组当前状态，确定该容器组中待更新容器，并将该容器组中除该待更新容器以外的容器全都暂停，并将除该待更新容器以外的容器的进程持久化到磁盘；保存该待更新容器的运行状态，根据该更新请求中需要更新的容器镜像文件构建新的容器镜像，销毁该待更新容器后根据该运行状态重新运行新的容器镜像，得到更新容器，恢复运行该容器组以完成对该容器组的更新。
-
Patent Agency Ranking
公开(公告)号：CN111290767A
公开(公告)日：2020-06-16
申请号：CN202010063953.8
申请日：2020-01-20
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种具有业务快速恢复功能的容器组更新方法及系统，包括：根据对容器组的更新请求，暂停该容器组的服务，通过比较更新请求和容器组当前状态，确定该容器组中待更新容器，并将该容器组中除该待更新容器以外的容器全都暂停，并将除该待更新容器以外的容器的进程持久化到磁盘；保存该待更新容器的运行状态，根据该更新请求中需要更新的容器镜像文件构建新的容器镜像，销毁该待更新容器后根据该运行状态重新运行新的容器镜像，得到更新容器，恢复运行该容器组以完成对该容器组的更新。
-
公开(公告)号：CN116501459A
公开(公告)日：2023-07-28
申请号：CN202310286432.2
申请日：2023-03-22
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种多租户任务调度方法、系统，所述方法包括：依据用户任务请求，为深度神经网络的每个层生成满足QoS要求的候选层集合；为候选层集合中的每个候选层设置一个标识符，重构深度神经网络模型；在GPU中执行深度神经网络模型的情况下，计算不同的候选层组合的共置开销，生成共置开销集合，选择具有最佳共置性能的至少一组候选层组合作为最优候选实现；在GPU中不执行深度神经网络模型的情况下，选择候选层集合中的最优候选层作为最优候选实现；将最优候选实现作为标识符列表，写入用户任务请求并提交至GPU；GPU运行时根据所述标识符列表选择对应的候选层实现。该方法在保证每个作业的QoS的同时，提高多租户系统的吞吐量。
-
公开(公告)号：CN111158855B
公开(公告)日：2023-06-23
申请号：CN201911319222.9
申请日：2019-12-19
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种基于微容器及云函数的轻量虚拟化裁剪方法。同时，作为该方法的实施例，本发明还提供了基于微容器及云函数的轻量虚拟化裁剪方法及系统，包括将用户的服务请求的执行代码编译为执行文件，根据该执行文件和基础容器镜像，生成轻量化可供用户以“云函数”方式调用的钥匙微容器镜像，根据该钥匙微容器镜像启动钥匙微容器，钥匙微容器向该服务请求对应业务的资源代理容器，发送作业请求指令；该资源代理容器根据该作业请求指令，对该业务选择一个已经开启微服务控制组，将该业务写入该微服务控制组的作业等待队列，长时运行服务器容器从作业等待队列获取该业务并进行作业处理，得到该服务请求的作业处理结果。本发明由此具有：启动速度快和计算服务动态扩缩容等技术效果。
-
公开(公告)号：CN111158855A
公开(公告)日：2020-05-15
申请号：CN201911319222.9
申请日：2019-12-19
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种基于微容器及云函数的轻量虚拟化裁剪方法。同时，作为该方法的实施例，本发明还提供了基于微容器及云函数的轻量虚拟化裁剪方法及系统，包括将用户的服务请求的执行代码编译为执行文件，根据该执行文件和基础容器镜像，生成轻量化可供用户以“云函数”方式调用的钥匙微容器镜像，根据该钥匙微容器镜像启动钥匙微容器，钥匙微容器向该服务请求对应业务的资源代理容器，发送作业请求指令；该资源代理容器根据该作业请求指令，对该业务选择一个已经开启微服务控制组，将该业务写入该微服务控制组的作业等待队列，长时运行服务器容器从作业等待队列获取该业务并进行作业处理，得到该服务请求的作业处理结果。本发明由此具有：启动速度快和计算服务动态扩缩容等技术效果。
-
公开(公告)号：CN118535332A
公开(公告)日：2024-08-23
申请号：CN202410647065.9
申请日：2024-05-23
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于算子选择与细粒度融合的深度学习推理方法，包括：获取深度神经网络模型的数据流图，通过线性回归模型模拟该数据流图中算子融合后的融合执行时间，通过动态规划选出该融合执行时间最短的算子对作为待融合算子对；采用基于持久化线程块的算子横向融合策略，对该待融合算子对进行融合，将该待融合算子对的CD kernel和TC kernel融合，得到融合算子；将该数据流图中除待融合算子以外的算子的线程块拆分为粒度更小的算子，得到低粒度算子；对该深度神经网络模型的融合算子和低粒度算子进行编排后输入包含Tensor Core和CUDA Core的GPU，得到该深度神经网络模型的执行结果。
-
-
-
-
-
-
Search Results
7
records
(took 0.022 seconds)
