-
公开(公告)号：CN116341628B
公开(公告)日：2024-02-13
申请号：CN202310162148.4
申请日：2023-02-24
Applicant: 北京大学长沙计算与数字经济研究院 , 北京大学
IPC: G06N3/0495 , G06N3/098
Abstract: 本发明提供一种面向分布式训练的高效梯度稀疏化方法及系统，其中方法包括：将以稠密格式存储的梯度划分为若干个子块，每个子块的大小为第一数值；在每个子块的块内取固定的前第二数值的个数的元素；使用两个数组分别存储提取的元素的下标及值；其中，第二数值的值为第一数值的值乘以预设的参数。本发明面向分布式训练的高效梯度稀疏化方法，将均衡分块方法引入梯度稀疏化中，可以实现天然的均衡负载划分，并通过转化为批量运算充分利用异构硬件平台的高并行性，提高梯度稀疏化的计算性能。
-
公开(公告)号：CN116405398A
公开(公告)日：2023-07-07
申请号：CN202310144049.3
申请日：2023-02-21
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
IPC: H04L41/12 , G06N3/04 , G06N3/08 , H04L41/14 , H04L41/0896
Abstract: 本发明公开了一种稀疏梯度规约的方法、装置、终端设备及介质，包括：获取网络拓扑结构；根据网络拓扑结构将全局设备分为二维设备网格(n，d)，同时将稀疏张量也分为二维稀疏张量(d，n)，其中n代表节点数目，d代表每个节点内的设备数目；基于预设Reduce‑Scatter算法对二维设备网格(n，d)及二维稀疏张量(d，n)进行通信规约，确定规约结果；基于AllGather算法对规约结果进行处理，得到最终处理结果。根据底层带宽制定高效的梯度规约模式，以实现网络带宽的高效利用，缓解低带宽瓶颈，提升训练性能。
-
公开(公告)号：CN116720568A
公开(公告)日：2023-09-08
申请号：CN202310697492.3
申请日：2023-06-13
Applicant: 北京大学长沙计算与数字经济研究院 , 北京大学
Abstract: 本发明涉及神经网络参数压缩、张量分解方法、存储介质和终端设备，包括：提取神经网络参数构成的N阶张量；将N阶张量执行优化张量分解过程，得到N个三阶核张量，代替N阶张量，执行神经网络步骤；关键在于，其优化张量分解过程，对缩并顺序进行了调整优化，根据待分解张量的阶数，构建待分解张量的序列集合；求和得到总序列；判断其中存在几个位置的值等于序列集合的序列个数的倍数；若存在一个，则将该一个位置对应的节点设定为公共节点；若存在多个，则将该多个位置对应的节点串联；判断序列集合的序列个数是否大于1，若是则将其划分为两组，递归上述步骤，若否，则得到缩并顺序，据此优化张量分解过程压缩神经网络参数。
-
公开(公告)号：CN116701816A
公开(公告)日：2023-09-05
申请号：CN202310605576.X
申请日：2023-05-26
Applicant: 北京大学长沙计算与数字经济研究院 , 北京大学
IPC: G06F17/10
Abstract: 本发明涉及缩并顺序的优化及张量分解方法、存储介质和终端设备，在连续缩并满足交换律，即缩并运算的计算顺序对结果没有影响的指导下，在每个因子更新时，将待缩并张量排序，以从待缩并张量的两边到中间缩并为基本原则，减少计算量、优化缩并类型；在此原则基础上，在缩并过程中进一步的以最小计算量为优化目标，确定每个因子更新的最优缩并顺序，以进一步降低计算量，提升张量分解的整体性能。
-
公开(公告)号：CN116401503A
公开(公告)日：2023-07-07
申请号：CN202310181406.3
申请日：2023-02-20
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
IPC: G06F17/16 , G06F18/2135 , G06F16/901
Abstract: 本发明提出了应用于数据压缩与分析的张量分解性能优化方法和系统。所述张量分解算法的主要性能瓶颈是连续的张量矩阵乘运算，本发明性能优化方法将张量分解过程建模成树的形式，通过尽量重用操作，从而减少关键操作的计算量，提升计算性能。具体包括：树的构建：首先，将要压缩的N阶输入数据张量χ作为根节点，并将N个数据子节点与根节点相连，其中，一个数据节点对应一颗子树；以分治的方式对每颗子树进行结构创建。计算过程：从根节点，以深度优先方式遍历树，每遍历到一个节点，进行一次张量矩阵乘操作计算，最终完成全部运算。该优化方法可以大幅减少张量矩阵乘操作的次数，从而提升计算性能。
-
Patent Agency Ranking
公开(公告)号：CN116341628A
公开(公告)日：2023-06-27
申请号：CN202310162148.4
申请日：2023-02-24
Applicant: 北京大学长沙计算与数字经济研究院 , 北京大学
IPC: G06N3/0495 , G06N3/098
Abstract: 本发明提供一种面向分布式训练的高效梯度稀疏化方法及系统，其中方法包括：将以稠密格式存储的梯度划分为若干个子块，每个子块的大小为第一数值；在每个子块的块内取固定的前第二数值的个数的元素；使用两个数组分别存储提取的元素的下标及值；其中，第二数值的值为第一数值的值乘以预设的参数。本发明面向分布式训练的高效梯度稀疏化方法，将均衡分块方法引入梯度稀疏化中，可以实现天然的均衡负载划分，并通过转化为批量运算充分利用异构硬件平台的高并行性，提高梯度稀疏化的计算性能。
-
公开(公告)号：CN114534802B
公开(公告)日：2023-07-14
申请号：CN202210012131.6
申请日：2022-01-06
Applicant: 北京大学
IPC: B01L3/00
Abstract: 本发明涉及微流控芯片及其制备方法，包括：芯片层及玻璃片，设置在所述芯片层内同一层的通液通道、凸出部、弹性墙及气动通道，所述气动通道的末端连通凸出部，所述弹性墙设置在凸出部的底端及通液通道的一侧边之间，所述芯片层还开设有气压入口、液体入口及液体出口，所述气压入口与气动通道的始端连通，所述液体入口及液体出口分别与通液通道的两端连通。本发明公开的微流控芯片及其制备方法，相对现有多层结构的气动微阀门，本方案无需制作多层结构对应的阳模，也无需在键合时针对多层结构进行对准，因此加工工艺大为简化，大幅降低该微流控芯片的加工难度。
-
公开(公告)号：CN115421929A
公开(公告)日：2022-12-02
申请号：CN202211376821.6
申请日：2022-11-04
Applicant: 北京大学
Abstract: 本公开的实施例提供了一种MoE模型训练方法、装置、设备以及存储介质，涉及神经网络技术领域。该方法包括：对MoE模型训练所用的计算设备网络进行拓扑探测，确定计算设备网络的拓扑类型；探测计算设备网络中任意两个计算设备之间的通信开销和传输开销，生成计算设备网络的通信性能矩阵和传输性能矩阵；根据拓扑类型对应的求解策略、通信性能矩阵和传输性能矩阵，求解各计算设备的数据分发模式；根据各计算设备的数据分发模式调整MoE模型的总损失函数；利用计算设备网络对调整后的MoE模型进行训练。以此方式，可以根据计算设备网络的拓扑结构求解各计算设备高效的数据分发模式，并基于此实现分发均衡，提升模型训练性能。
-
公开(公告)号：CN114534802A
公开(公告)日：2022-05-27
申请号：CN202210012131.6
申请日：2022-01-06
Applicant: 北京大学
IPC: B01L3/00
Abstract: 本发明涉及微流控芯片及其制备方法，包括：芯片层及玻璃片，设置在所述芯片层内同一层的通液通道、凸出部、弹性墙及气动通道，所述气动通道的末端连通凸出部，所述弹性墙设置在凸出部的底端及气动通道的一侧边之间，所述芯片层还开设有气压入口、液体入口及液体出口，所述气压入口与气动通道的始端连通，所述液体入口及液体出口分别与通液通道的两端连通。本发明公开的微流控芯片及其制备方法，相对现有多层结构的气动微阀门，本方案无需制作多层结构对应的阳模，也无需在键合时针对多层结构进行对准，因此加工工艺大为简化，大幅降低该微流控芯片的加工难度。
-
公开(公告)号：CN114621979A
公开(公告)日：2022-06-14
申请号：CN202210139490.8
申请日：2022-02-15
Applicant: 北京大学
Abstract: 本公开提供了一种基于柔性可变截面微通道的细胞力学转染的方法，包括：S1，将含有细胞和外源物质的液体引入微流控装置的液路层，液路层包括若干个液体微通道；S2，向微流控装置的气路层施加气压，液路层与气路层之间的薄膜层发生形变，改变相应位置的液路微通道的截面尺寸；当细胞经过相应位置的液体微通道时，受到柔性薄膜层施加应力，在细胞膜上瞬时产生微创膜孔，外源物质通过微创膜孔进入细胞，完成细胞转染。本公开还提供了一种细胞力学转染的微流控装置。本公开提供的方法及装置能避免刚性挤压对细胞的损伤、对细胞尺寸容忍度高能够适应大小异质性细胞群，为生物制造、细胞疗法、再生医学等应用提供了强大而实用的力学转染方法。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.058 seconds)
