深度神经网络服务批处理调度方法、系统及GPU

    公开(公告)号:CN112817730B

    公开(公告)日:2022-08-16

    申请号:CN202110209701.6

    申请日:2021-02-24

    Abstract: 本发明提供一种深度神经网络服务批处理调度方法、系统及GPU,所述深度神经网络服务批处理调度方法包括:构建包含多个批处理调度策略的批处理调度策略池;基于用户输入的服务质量要求信息和神经网络模型的类型确定对应的批处理调度策略,并配置所述确定的批处理调度策略;基于批处理调度策略的配置情况对所述神经网络模型执行服务调度。本发明可以为新兴的深度神经网络技术落地提供支持,可以构建具有商业意义的、基于模型多样性感知的深度神经网络服务批处理调度系统,面向用户简化神经网络推理调度服务的优化,优化整个神经网络的服务响应速度。

    一种资源配置方法、介质及服务端

    公开(公告)号:CN112199196B

    公开(公告)日:2022-03-18

    申请号:CN202011134276.0

    申请日:2020-10-21

    Abstract: 本发明提供一种资源配置方法、介质及服务端。所述资源配置方法包括:获取所述服务端能够执行的任务作为第一任务;获取所述第一任务对应的数据处理模型作为第一数据处理模型,其中,各所述第一数据处理模型至少包含1个算子;对所述第一数据处理模型中的每个算子进行资源配置,以获取所述第一数据处理模型中各算子所使用的资源数量;当所述服务端接收到用户的任务请求时,获取第二任务;其中,所述第二任务包括所述服务端的当前任务和所述用户的任务请求对应的任务;当所述第二任务的数量大于1时,执行一协同资源配置子方法。本发明所述资源配置方法能够适用于多数据处理模型的复杂场景。

    Warp级别调度的任务调度方法、系统、GPU及设备

    公开(公告)号:CN113407333A

    公开(公告)日:2021-09-17

    申请号:CN202011506442.5

    申请日:2020-12-18

    Abstract: 本发明提供一种Warp级别调度的任务调度方法、系统、GPU及设备,所述Warp级别调度的任务调度方法包括:在任务为首次任务时,离线分析用户提交任务的硬件信息及配置信息;基于所述任务的硬件信息和配置信息,获取与主流任务并行时的最大并行度;在任务为非首次任务时,基于任务的硬件信息和已收集的最大并行度决策,进行在线的任务对打包决策,将选取的任务对打包成一个新任务,并将新任务提交到GPU上,以使得任务对中的原有两个GPU任务实现warp级别的任务调度。本发明在无需用户感知提前下,实现高吞吐的Warp级别调度的任务调度,可以间接为潜在的配置多种计算单元的GPU提供调度技术的支持。

    应用于电子地图的空间关键字查询的近似搜索方法

    公开(公告)号:CN110046216A

    公开(公告)日:2019-07-23

    申请号:CN201910334422.5

    申请日:2019-04-24

    Abstract: 本发明公开了一种应用于电子地图的空间关键字查询的近似搜索方法,其包括如下步骤:S1:读取数据集的各条数据进行索引构建、针对单条数据的各个关键字分别跳转至步骤S2;S2:将关键字的频率与频率阈值进行比对;S3:采用映射函数将关键字映射到R-tree,并组织包含该关键字的空间文本对象,跳转至S5;S4:将关键字映射到对象列表中,跳转至S5;S5:对于叶子节点中的对象、计算其最小边界矩形来表示它们的空间区域,对于非叶子节点,收集其子节点的最小边界矩形并组成更大的最小边界矩形以代表该节点的空间覆盖范围;S6:在S5构建的空间框架内实现对aBRQ(Approximate Boolean Range Query)的查询搜索;S7:在S5构建的空间框架内实现对近似关键字包含的k最近邻查询的查询搜索。

    GPU任务调度方法及系统
    76.
    发明公开

    公开(公告)号:CN107122245A

    公开(公告)日:2017-09-01

    申请号:CN201710277236.3

    申请日:2017-04-25

    CPC classification number: G06F9/5027

    Abstract: 本发明提供一种GPU任务调度方法及系统,所述系统包括:应用分析模块,用于获取应用程序的各个kernel的指令数;动态任务调度模块,用于判断当前运行的kernel数量是否达到预设的上限值,若否,则从被抢占的kernel以及新到达的kernel中挑选与当前运行的kernel组合形成kernel组合优先级最高的kernel,若是,则继续判断被抢占的kernel和新到达的kernel中是否存在与当前运行kernel进行组合得到更高优先级的kernel组合,若是,则继续判断抢占程序后的GPU性能提升是否大于抢占过程所占用的GPU开销,若是,则进行抢占。本发明有效降低延迟,提高资源利用率,提高GPU的性能。

Patent Agency Ranking