一种基于分层混合并行的云边端异构资源协同训练策略

    公开(公告)号:CN119576528A

    公开(公告)日:2025-03-07

    申请号:CN202411546666.7

    申请日:2024-10-31

    Abstract: 一种基于分层混合并行的云边端异构资源协同训练策略,研究跨域分布式计算框架如何充分地利用多样云边端异构计算资源的问题,研究设备图与计算图构建机制,构建精简、合并后的计算图和设备图,缩小分层混合并行策略的搜索空间;研究分层混合并行算法的搜索算法,通过动态规划算法和资源约束机制搜索可能的分层混合并行算法,实现云边端协同跨域场景下的高效分层混合并行;研究运行时跨域分层混合并行优化策略,通过计算簇内数据负载和计算负载的二次均衡分配,调整各个节点间的计算速度,规避运行时慢节点的出现。通过上述机制,实现云边异构计算资源和混合并行策略的高效适配,提升云边异构计算资源的利用效率,提升模型跨域分布式训练速度。

    广域环境中异构数据库的语义分析多级缓存机制

    公开(公告)号:CN119537428A

    公开(公告)日:2025-02-28

    申请号:CN202411499084.8

    申请日:2024-10-25

    Abstract: 面向云边端环境中异构数据库的语义分析多级缓存机制,旨在通过模式匹配技术实现对数据库操作的识别,提取数据库操作语句的类型和影响范围,以构建统一的数据库访问模型,实现对异构数据库操作的精准转发与执行,包括SQL语句识别模块、多级缓存队列、缓存项定位索引和发布订阅模块。SQL语句识别模块用于接收和解析数据库及SQL语句的元数据,确定查询类型并管理缓存更新。多级缓存队列根据访问频率和访问时间动态调整缓存项,确保缓存的有效性和准确性。缓存项定位索引通过哈希表和前缀树加速缓存访问,提高访问效率。发布订阅模块用于维护不同数据中心间缓存的一致性,通过发布和订阅机制实现缓存的同步更新。本发明提高了资源利用率和数据访问性能。

    一种基于分区稀疏通信的云边端跨域训练高效通信技术

    公开(公告)号:CN119676235A

    公开(公告)日:2025-03-21

    申请号:CN202411556809.2

    申请日:2024-11-01

    Abstract: 一种基于分区稀疏通信的云边端跨域训练高效通信技术,研究跨域分布式计算框架如何高效地实现云边端跨域节点快速通信的问题,研究反向传播稀疏化机制,通过稀疏性试探算法确定模型层的稀疏化后对模型准确率和通信的影响,从而极大的降低通信规模;研究分区分级通信调度机制,主要包含计算簇内通信调度机制和计算簇间通信调度机制。其中,计算簇内通信调度机制通过激活值和权重分离的机制,以最大化计算簇的计算‑通信重叠;计算簇间通信调度机制,解耦前向传播与反向传播,并通过自定义优化目标得到最合适的微批次调度目标。通过上述机制,有效地减小通信规模,提升计算‑通信重叠率,实现高效、快速的跨域节点通信,提升跨域分布式训练的效率。

    一种面向周期性复制系统的成本最小化一致性维护方法

    公开(公告)号:CN115996177B

    公开(公告)日:2024-05-07

    申请号:CN202211265079.1

    申请日:2022-10-17

    Abstract: 一种面向周期性复制系统的成本最小化一致性维护方法,为周期性复制系统建立了一致性维护成本的量化分析模型,包括陈旧度成本,存储成本和通信成本,可有效量化、分析、优化不同一致性的维护成本;根据系统的一致性维护成本的量化分析模型,推导出当前工作负载下使系统同步成本最优的同步周期;基于推导出的最优同步周期,建立了系统实际运行时成本最小化的一致性维护方法,可根据不同的工作负载自适应地调整同步周期,在运行时最小化系统的同步成本;用户的体验和系统的性能与副本的陈旧度直接相关,将副本陈旧度单位转换为成本,可有效度量使用陈旧信息的业务成本。本发明能根据实际运行状况自适应的调整同步配置以最小化系统的同步成本。

    一种形式化的多标量乘法分析与计算加速方法

    公开(公告)号:CN116932991A

    公开(公告)日:2023-10-24

    申请号:CN202310698800.4

    申请日:2023-06-13

    Abstract: 本发明提出了一种形式化的多标量乘法分析与计算加速方法,能够相比现有方法取得更好的加速效果。针对现有密码学椭圆曲线领域多标量乘法处理复杂、计算量大的问题,本发明设计了一种形式化的计算任务分析和数据预处理方法。本发明的主要任务是分析和预处理多标量计算,实现方式是将系数表达为元列向量,并基于桶划分的思想将元列向量处理为列向量,构建“向量×矩阵=向量”的计算表达式;通过分析列向量的属性,确定可以化简的重复计算项,在实际计算中使用一部的中间结果代替可重复项。相比现有方案,本发明可以在并行处理器上实行,并且更好地支撑了大规模数据计算处理的需求。

    一种广域环境中异构数据库的代码生成拓展方法

    公开(公告)号:CN117608581A

    公开(公告)日:2024-02-27

    申请号:CN202311329602.7

    申请日:2023-10-13

    Abstract: 本发明提出了一种广域环境中异构数据库的代码生成拓展方法,将系统访问数据库的过程进行抽象,通过简单的参数配置生成对应的操作代码,并通过插件的形式加载到系统中,实现各数据库的自定义操作,从而提升系统整体的可用性和可扩展性。本发明的任务是根据用户自定义的元数据提取规则,处理用户输入的参数,继而生成异构数据库的可执行代码。相比于现有方案,更好地实现了异构数据库广域访问技术。

Patent Agency Ranking