应用于数据压缩与分析的张量分解性能优化方法和系统

    公开(公告)号:CN116401503A

    公开(公告)日:2023-07-07

    申请号:CN202310181406.3

    申请日:2023-02-20

    Abstract: 本发明提出了应用于数据压缩与分析的张量分解性能优化方法和系统。所述张量分解算法的主要性能瓶颈是连续的张量矩阵乘运算,本发明性能优化方法将张量分解过程建模成树的形式,通过尽量重用操作,从而减少关键操作的计算量,提升计算性能。具体包括:树的构建:首先,将要压缩的N阶输入数据张量χ作为根节点,并将N个数据子节点与根节点相连,其中,一个数据节点对应一颗子树;以分治的方式对每颗子树进行结构创建。计算过程:从根节点,以深度优先方式遍历树,每遍历到一个节点,进行一次张量矩阵乘操作计算,最终完成全部运算。该优化方法可以大幅减少张量矩阵乘操作的次数,从而提升计算性能。

    分布式训练的梯度稀疏化方法、系统、设备及存储介质

    公开(公告)号:CN116341628A

    公开(公告)日:2023-06-27

    申请号:CN202310162148.4

    申请日:2023-02-24

    Inventor: 杨超 陈畅 李敏

    Abstract: 本发明提供一种面向分布式训练的高效梯度稀疏化方法及系统,其中方法包括:将以稠密格式存储的梯度划分为若干个子块,每个子块的大小为第一数值;在每个子块的块内取固定的前第二数值的个数的元素;使用两个数组分别存储提取的元素的下标及值;其中,第二数值的值为第一数值的值乘以预设的参数。本发明面向分布式训练的高效梯度稀疏化方法,将均衡分块方法引入梯度稀疏化中,可以实现天然的均衡负载划分,并通过转化为批量运算充分利用异构硬件平台的高并行性,提高梯度稀疏化的计算性能。

    MoE模型训练方法、装置、设备以及存储介质

    公开(公告)号:CN115421929A

    公开(公告)日:2022-12-02

    申请号:CN202211376821.6

    申请日:2022-11-04

    Applicant: 北京大学

    Inventor: 杨超 陈畅 李敏

    Abstract: 本公开的实施例提供了一种MoE模型训练方法、装置、设备以及存储介质,涉及神经网络技术领域。该方法包括:对MoE模型训练所用的计算设备网络进行拓扑探测,确定计算设备网络的拓扑类型;探测计算设备网络中任意两个计算设备之间的通信开销和传输开销,生成计算设备网络的通信性能矩阵和传输性能矩阵;根据拓扑类型对应的求解策略、通信性能矩阵和传输性能矩阵,求解各计算设备的数据分发模式;根据各计算设备的数据分发模式调整MoE模型的总损失函数;利用计算设备网络对调整后的MoE模型进行训练。以此方式,可以根据计算设备网络的拓扑结构求解各计算设备高效的数据分发模式,并基于此实现分发均衡,提升模型训练性能。

    针对HPCG基准测试的两层分块多色并行优化方法

    公开(公告)号:CN113553288A

    公开(公告)日:2021-10-26

    申请号:CN202111101263.8

    申请日:2021-09-18

    Applicant: 北京大学

    Inventor: 杨超 朱钱超 罗昊

    Abstract: 本公开的实施例提供了一种针对高性能共轭梯度基准测试(HPCG基准测试)的高效两层分块多色并行优化方法。所述方法包括,首先对稀疏矩阵进行层划分,得到多个层;再对具体所述层的矩阵数据分别进行分块多色处理,得到着色计算块;将每个所述层的颜色相同的所述着色计算块分别进行分组,得到多个并行组;按各层各着色的顺序,在多线程处理器上并行执行所述并行组。以此方式,不仅可以在强数据依赖的高斯赛德尔算法中挖掘足够的并行度以充分利用硬件特性发挥性能,同时较已有的分块多色并行算法大大提高了收敛速率,同时此求解顺序使得向量数据以及矩阵数据可以在连续层之间进行进一步复用,从而进一步大幅提升性能。

    一种超疏水材料及其制备方法

    公开(公告)号:CN110552038B

    公开(公告)日:2021-08-10

    申请号:CN201910926770.1

    申请日:2019-09-27

    Abstract: 本发明公开一种超疏水材料及其制备方法。所述超疏水材料具有荷叶状纳米结构。所述荷叶状纳米结构,类似T型结构,不需要使用有机低表面能物质改性就可直接实现超疏水性,这种仅靠结构调控实现超疏水性的材料具有较好的稳定性。所述具有荷叶状纳米结构的材料可以为氧化铝,氧化铝作为常见的工件的耐磨耐腐涂层,因此,本发明微弧氧化法制备的特殊结构纳米氧化铝还具有优异的稳定性。另外本发明提供的超疏水材料的制备方法,简单易操作,成本较低,具有潜在的应用价值。

    SVM模型的训练方法、装置、设备和计算机可读存储介质

    公开(公告)号:CN112686342B

    公开(公告)日:2021-06-18

    申请号:CN202110270550.5

    申请日:2021-03-12

    Applicant: 北京大学

    Abstract: 本公开的实施例提供了SVM模型的训练方法、装置、设备和计算机可读存储介质。所述方法包括获取数据集;加载所述数据集;通过自动调优框架在线预测所述数据集的最优存储格式并进行格式转换;执行SMO算法对SVM模型进行训练。以此方式,能够根据输入的数据集自动的选择最优的数据存储格式与算法;全局循环层次基于所述最优数据存储格式进行大量的更加高效的矩阵乘法运算计算kernel matrix;局部SMO求解器层次,使用GPU的寄存器通信技术与合并访存方法进行了更加细致的内存优化,充分利用硬件平台的计算资源。

    一种明胶海绵及其制备方法

    公开(公告)号:CN101574539B

    公开(公告)日:2012-07-18

    申请号:CN200910087274.8

    申请日:2009-06-15

    Applicant: 北京大学

    Inventor: 许零 杨超

    Abstract: 本发明提供了一种明胶海绵,其通过先对明胶水溶液进行辐射交联成明胶水凝胶,然后进行溶胀、冷冻干燥而成。本发明还提供了明胶海绵的辐射交联制备方法,整个工艺流程在纯水体系完成,辐射交联的过程兼具灭菌作用,该过程的可控性很好,得到产品的结构均匀性也较化学交联法的好,作为生物医用材料具有独特的优势。

    基于张量压缩方法的流数据处理方法、装置及设备

    公开(公告)号:CN115146226A

    公开(公告)日:2022-10-04

    申请号:CN202211056894.7

    申请日:2022-08-31

    Applicant: 北京大学

    Abstract: 本公开的实施例提供了一种基于张量压缩方法的流数据处理方法、装置及设备,涉及数据处理领域。所述方法包括对流数据的数据矩阵进行采样,提取多个矩阵;对采样得到的矩阵进行张量化处理,得到三阶张量;对所述三阶张量进行Tucker分解,得到压缩矩阵;利用所述压缩矩阵对流数据的数据矩阵进行低秩逼近求解。以此方式,得到的压缩矩阵提取了流数据的主要特征,保证高精度的同时提高了效率。

    针对HPCG基准测试的两层分块多色并行优化方法

    公开(公告)号:CN113553288B

    公开(公告)日:2022-01-11

    申请号:CN202111101263.8

    申请日:2021-09-18

    Applicant: 北京大学

    Inventor: 杨超 朱钱超 罗昊

    Abstract: 本公开的实施例提供了一种针对高性能共轭梯度基准测试(HPCG基准测试)的高效两层分块多色并行优化方法。所述方法包括,首先对稀疏矩阵进行层划分,得到多个层;再对具体所述层的矩阵数据分别进行分块多色处理,得到着色计算块;将每个所述层的颜色相同的所述着色计算块分别进行分组,得到多个并行组;按各层各着色的顺序,在多线程处理器上并行执行所述并行组。以此方式,不仅可以在强数据依赖的高斯赛德尔算法中挖掘足够的并行度以充分利用硬件特性发挥性能,同时较已有的分块多色并行算法大大提高了收敛速率,同时此求解顺序使得向量数据以及矩阵数据可以在连续层之间进行进一步复用,从而进一步大幅提升性能。

Patent Agency Ranking