基于k8s服务的异构RISC-V集群设备、方法、装置、设备和介质

    公开(公告)号:CN116560799A

    公开(公告)日:2023-08-08

    申请号:CN202310587433.0

    申请日:2023-05-23

    Abstract: 本公开提供一种基于k8s服务的异构RISC‑V集群设备、方法、装置、设备和介质,其中,基于k8s服务的异构RISC‑V集群设备方法包括:RISC‑V扩展模块,集成于所述k8s服务的主节点,所述RISC‑V扩展模块用于根据用户计算任务与所述k8s服务的RISC‑V计算节点之间的亲和度计算结果对所述计算节点进行调度;至少一个RISC‑V设备数据采集器,集成于所述RISC‑V计算节点,用于计算用户计算任务与所述k8s服务的RISC‑V计算节点之间的亲和度计算结果。通过本公开实施例,可以根据亲和度指数以及节点资源剩余率进行任务调度,降低了任务计算时延,提高了集群服务性能。

    任务卸载优化方法、装置、设备、存储介质和程序产品

    公开(公告)号:CN118590941B

    公开(公告)日:2024-10-18

    申请号:CN202411074133.3

    申请日:2024-08-06

    Abstract: 本公开提供了一种边缘任务卸载优化方法、装置、设备、存储介质和程序产品,涉及物联网技术领域。其中,边缘任务卸载优化方法包括:基于本地任务量、第一时延和功率分配因子构建系统能源效率目标模型,待处理任务包括待分配至终端的本地任务和待卸载至边缘集群的边缘任务,第一时延用于卸载边缘任务,功率分配因子为基于NOMA进行边缘任务卸载的因子;对本地任务量、功率分配因子和第一时延进行联合迭代优化得到目标任务量、目标功率分配因子和目标第一时延;基于目标任务量进行本地任务处理,基于目标功率分配因子和目标第一时延进行边缘任务卸载。通过本公开的技术方案,实现了终端本地计算与通信的协同优化,从而提高对物联网系统整体能源的利用。

    模型获取方法、装置、介质及设备

    公开(公告)号:CN117787380A

    公开(公告)日:2024-03-29

    申请号:CN202311812453.X

    申请日:2023-12-26

    Inventor: 梁致远 崔恩放

    Abstract: 本申请提供一种模型获取方法、模型获取装置、计算机可读存储介质及电子设备,涉及人工智能技术领域,该方法可以基于随机前向传播策略、噪声图像特征和文本信息特征确定每个传播时刻对应的注意力层概率和残差层概率,基于注意力层概率和残差层概率可以对扩散模型进行层筛选,以达到简化扩散模型的目的,进而,再结合扩散模型和参考扩散模型进行知识蒸馏,可以在保证模型精度的同时缩小模型的体量,因此,相较于相关技术,本申请可以达到简化/轻量化扩散模型而不损失模型精度的目的,基于这种方式获得的目标模型不仅可以输出精度更高的模型推理结果,并且可以节约模型推理时间,提升模型推理效率,降低性能消耗。

    推理优化方法、优化装置、设备、存储介质和程序产品

    公开(公告)号:CN119250207A

    公开(公告)日:2025-01-03

    申请号:CN202411456704.X

    申请日:2024-10-17

    Inventor: 崔恩放 韦茜 高玥

    Abstract: 本公开提供了一种推理优化方法、优化装置、设备、存储介质和程序产品,涉及机器学习技术领域。其中,模型即服务的推理优化方法包括:响应于接收到的多个用户调用多个微调大模型推理的调用请求,生成第一请求集合和第二请求集合,第一请求集合对应于基础大模型的推理,第二请求集合对应于微调大模型的推理;基于共享冻结参数对第一请求集合进行推理得到第一批处理结果,基于非共享参数对第二请求集合进行推理得到第二批处理结果;合并第一批处理结果和第二批处理结果得到目标结果,将目标结果反馈至多个用户。通过本公开的技术方案,通过使不同租户共享冻结的参数进行推理任务的批处理,减少多租户大模型的GPU内存资源使用量,降低推理成本。

    轻量级虚拟机创建方法、装置、电子设备及存储介质

    公开(公告)号:CN117193942A

    公开(公告)日:2023-12-08

    申请号:CN202311181582.3

    申请日:2023-09-13

    Inventor: 李天正 崔恩放

    Abstract: 本公开提供了一种轻量级虚拟机创建方法、装置、电子设备及存储介质,涉及数据处理技术领域。该方法包括:获取待创建虚拟机的vCPU数量、内存大小、内核镜像地址等自定义参数配置信息,根据获取的自定义参数配置信息,创建相应的虚拟机实例。本公开提供的方法,使创建出的轻量级虚拟机仅需实现特定的功能,减少了虚拟机运行时占用的网络资源和硬件资源,提升了虚拟机的工作效率,而且,创建出的轻量级虚拟机相比于传统虚拟机功能特性较少,在硬件与软件两方面的实现更加简单,能够有效降低虚拟机运行时的成本,同时轻量级虚拟机能够快速启动且其在运行时的内存开销少。

    业务处理方法、处理装置、设备、存储介质和程序产品

    公开(公告)号:CN119336448A

    公开(公告)日:2025-01-21

    申请号:CN202411455984.2

    申请日:2024-10-17

    Inventor: 崔恩放

    Abstract: 本公开提供了一种容器业务处理方法、处理装置、设备、存储介质和程序产品,涉及云计算技术领域。其中,容器业务处理方法包括:响应于对加速平台驱动接口的调用请求,调用配置的钩子组件执行对调用请求的拦截操作,容器业务通过加速平台驱动接口与加速平台进行交互;响应于拦截操作,向业务资源管理组件请求令牌;基于令牌的请求配置运行容器业务的业务空间资源和业务时间资源;基于配置结果确定由业务资源管理组件向容器业务分发令牌,调用加速平台驱动接口,以运行加速平台处理容器业务。通过本公开的技术方案,通过在时间和空间两个维度对业务资源进行多函数间的共享实现业务资源的细粒度分配,从而提升了资源的利用率。

    基于大语言模型的推理方法、装置、电子设备及存储介质

    公开(公告)号:CN117709466A

    公开(公告)日:2024-03-15

    申请号:CN202311774893.0

    申请日:2023-12-21

    Inventor: 梁致远 崔恩放

    Abstract: 本公开提供了一种基于大语言模型的推理方法、装置、电子设备及存储介质,涉及人工智能技术领域。该方法包括:获取查询请求;获取多层级大语言模型,各层级大语言模型的复杂度小于相应的下一层级大语言模型的复杂度;从多层级大语言模型中的第一层级大语言模型开始,逐个根据各层级大语言模型对查询请求进行推理,直至得到满足预设条件的目标推理结果。此种推理方式具有更高的灵活性,能够使复杂的问题自动调整至由复杂度更高的高层级大语言模型进行推理,以保证得到具有较高精度的目标推理结果,简单的查询请求也会在复杂度较低的低层级大语言模型完成推理,以使推理的时延低、效率高、实时性好。

Patent Agency Ranking