无服务计算动态工作流调度方法、存储介质及电子设备

    公开(公告)号:CN119902868A

    公开(公告)日:2025-04-29

    申请号:CN202411962848.2

    申请日:2024-12-30

    Abstract: 本申请提供一种无服务计算动态工作流调度方法、存储介质及电子设备,所述方法包括:基于资源访问频率,周期性对计算节点上的函数容器进行合并和分解;响应于接收到任务调度请求,根据所述任务调度请求产生的中间数据量和任务并行度确定任务的部署节点;将所有任务分发成多个任务组,对于调度到当前节点的任务所在的任务组将所述任务分发至合适度数的容器或容器组合。本申请可以有效提高计算节点资源利用率,有效提升负载吞吐量,降低端到端延迟。

    基于向量量化的编码本缓存方法、系统、电子设备及介质

    公开(公告)号:CN119668837A

    公开(公告)日:2025-03-21

    申请号:CN202411600764.4

    申请日:2024-11-11

    Abstract: 本申请提供一种基于向量量化的编码本缓存方法、系统、电子设备及介质,所述方法包括:获取待处理编码本;对所述待处理编码本进行排序以获取目标编码本索引;根据所述目标编码本索引和编码本缓存以获取索引边界;所述编码本缓存为存储所述待处理编码本的缓存;根据所述索引边界和所述目标编码本索引进行判断比较以获取判断结果;根据所述判断结果将所述待处理编码本存储在所述编码本缓存中对应的缓存内。本申请根据编码本的使用频率,通过将编码本条目放置到GPU的内存层级的不同位置,提高了内存运行性能和执行效率,解决了共享内存和全局内存效率低的问题。

    基于自适应并行共优化的大模型异构集群调度系统及方法

    公开(公告)号:CN118916156A

    公开(公告)日:2024-11-08

    申请号:CN202410946115.3

    申请日:2024-07-15

    Abstract: 一种基于自适应并行共优化的大模型异构集群调度系统及方法,包括:基于执行流建模的性能分析器、集群弹性抢占式任务调度器以及任务并行执行引擎,其中:集群弹性抢占式任务调度器根据任务队列动态改变任务的计算资源,得到不同集群任务负载下近似最优的任务资源分配;性能分析器根据来自集群弹性抢占式任务调度器的模型并行块和来自异构GPU集群的硬件信息,进行单设备上的并行块算子延迟测量,估计得到每一个并行块所定义的子空间内最优并行策略的迭代时间;任务并行执行引擎接收调度后的并行块进行基于剪枝后搜索空间下的并行搜索、生成任务及其最优并行策略后输出至异构GPU集群。本发明保证了多个大模型训练任务的高效性能分析,集群级别的吞吐性能和资源利用率提高以及任务级别的任务完成时间减少。

    数据预取方法及可读存储介质
    204.
    发明公开

    公开(公告)号:CN118796274A

    公开(公告)日:2024-10-18

    申请号:CN202410777853.X

    申请日:2024-06-17

    Abstract: 本发明涉及计算机技术领域,尤其涉及一种数据预取方法及可读存储介质,方法包括:S100、当检测到CPU对缓存的加载访问时,若加载访问所请求的数据地址所属的区域在累积表中未被追踪,跳转S200;S200、检查区域是否已经在过滤表中记录过,若是,则跳转S300;S300、检查加载访问所请求的数据地址的偏移和过滤表中记录的偏移是否一致,若不一致,则跳转S400;S400、在模式历史表中,基于加载访问所请求的数据地址的偏移和过滤表中记录的偏移进行查找,形成第一预取模式并发送到预取缓冲区。通过额外观察对区域的后续访问,能够消除大量的错误预测和过度预测,从而大幅提升了数据预取的准确率,降低了额外带宽消耗。

    基于弹性持久的线程块的任务调度方法、系统及GPU

    公开(公告)号:CN114003359B

    公开(公告)日:2024-07-16

    申请号:CN202111230110.3

    申请日:2021-10-20

    Abstract: 本发明提供一种基于弹性持久的线程块的任务调度方法、系统及GPU,所述基于弹性持久的线程块的任务调度方法包括:对于每一个GPU内核函数,使用源对源编译的方式将该内核函数,转换为使用弹性持久线程块的函数版本,进而减少了内核函数的资源占用。对于每一个可能的混跑的内核函数对,使用混跑重合率判断两个混跑的内核函数的吞吐性能,进而找到最优的混跑配置。对于实时到来的内核函数,基于混跑重合率来构建混跑的内核函数对,以获得最大的吞吐。本发明可以在无需用户感知的前提下,最大化系统吞吐,本发明的成果可以间接为潜在的配置多种计算单元的GPU提供调度技术的支持。

    基于距离阈值的近似近邻搜索方法、系统、介质及设备

    公开(公告)号:CN117194737B

    公开(公告)日:2024-06-07

    申请号:CN202311190218.3

    申请日:2023-09-14

    Abstract: 本申请提供一种基于距离阈值的近似近邻搜索方法、系统、介质及设备,所述方法包括过滤搜索点以获取编码本条目与子空间级反向索引;基于所述距离阈值筛选所述编码本条目以构建子空间距离查询表;基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。本申请基于距离阈值进行近似近邻搜索,显著降低其中子空间距离查询表构建和距离计算中不必要的查询、计算操作,进而在保证搜索质量的前提下显著提高了基于反向索引的乘积量化的近似近邻搜索的搜索效率。

    基于哈希时间锁定协议的多链可信交易BaaS服务平台架构

    公开(公告)号:CN114979244B

    公开(公告)日:2023-12-22

    申请号:CN202210475744.3

    申请日:2022-04-29

    Abstract: 本发明提供一种基于哈希时间锁定协议的多链可信交易BaaS服务平台架构,包括:应用层,通过前端页面呈现给用户区块链交易的信息;SDK层,用于提供链码函数调用接口;链码层,用于扩展哈希时间锁定接口;链码API层,用于配置原生链码API和密码学原语API;应用层、SDK层、链码层以及链码API层协作交互实现:在每次HTLC跨链交易时,以转账的方式实现资产锁定;资产锁定阶段的转账提交到账本后,对账本的内容验证;在HTLC跨链交易完成后,生成用户的余额的范围证明,以供监管方基于用户的余额的范围证明对转账的有效性进行审计。本发明将HTLC与密码学技术结合,既能实现跨链交易,又能实现对交易的隐私保护和监管。

    基于距离阈值的近似近邻搜索方法、系统、介质及设备

    公开(公告)号:CN117194737A

    公开(公告)日:2023-12-08

    申请号:CN202311190218.3

    申请日:2023-09-14

    Abstract: 本申请提供一种基于距离阈值的近似近邻搜索方法、系统、介质及设备,所述方法包括过滤搜索点以获取编码本条目与子空间级反向索引;基于所述距离阈值筛选所述编码本条目以构建子空间距离查询表;基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。本申请基于距离阈值进行近似近邻搜索,显著降低其中子空间距离查询表构建和距离计算中不必要的查询、计算操作,进而在保证搜索质量的前提下显著提高了基于反向索引的乘积量化的近似近邻搜索的搜索效率。

    基于深度神经网络模型的数据保护方法、系统及介质

    公开(公告)号:CN117171766A

    公开(公告)日:2023-12-05

    申请号:CN202310955526.4

    申请日:2023-07-31

    Abstract: 本发明提供一种基于深度神经网络模型的数据保护方法、系统及介质,其中,所述方法包括:获取初始深度神经网络模型,其中,所述初始深度神经网络模型包括多个分割子图;基于所述分割子图利用距离正则化机制筛选掉不满足安全距离的分支,以得到全安全子图的目标深度神经网络模型;在输入数据基于所述目标深度神经网络模型处理过程中,利用位置加密对中间处理数据进行加密作业。本发明提出了一种基于深度神经网络模型的数据保护方法,旨在解决现有技术中完全加密的私有推理的延迟问题以及部分加密的私有推理的安全泄露问题,具体通过安全子图约束和位置加密的方法在防止安全泄露的前提下大大减少了延迟,达到良好的性能效果。

Patent Agency Ranking