公开(公告)号：CN114429195A

公开(公告)日：2022-05-03

申请号：CN202210071043.3

申请日：2022-01-21

Applicant: 清华大学

Inventor： 翟季冬 ,  何家傲

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种混合专家模型训练的性能优化方法和装置，涉及神经网络技术领域，所述方法包括：在一次迭代计算前，对于所述混合专家模型中所有专家中的每一个，判定当前专家是否被设置为影子专家，若是，将当前专家添加至影子专家集合，继续判定下一个专家是否被设置为影子专家直至所有专家被判定完成。本发明能够提高混合专家模型的训练速度和效率，减少混合专家模型在训练时所耗费的资源。

公开(公告)号：CN109388428A

公开(公告)日：2019-02-26

申请号：CN201710687341.4

申请日：2017-08-11

Applicant: 华为技术有限公司 ,  清华大学

Inventor： 林恒 ,  项定义 ,  程捷 ,  翟季冬 ,  朱冠宇

IPC: G06F9/38

Abstract: 本申请提供一种图层遍历方法、控制装置及数据处理系统，该方法包括：获取待遍历图层的图层特征参数，根据图层特征参数，确定遍历算法策略和遍历步长策略，第一处理装置和第二处理装置分别采用遍历算法策略进行协同遍历的性能最大，第一处理装置和第二处理装置分别采用遍历步长策略进行协同遍历的总开销时间最小，通知第一处理装置和第二处理装置根据遍历算法策略和遍历步长策略协同遍历待遍历图层。通过以上方案，可提升数据处理系统的整体处理性能。

公开(公告)号：CN104850411A

公开(公告)日：2015-08-19

申请号：CN201510315936.8

申请日：2015-06-10

Applicant: 清华大学

Inventor： 翟季冬 ,  刘明亮 ,  陈文光

IPC: G06F9/44

Abstract: 提供了存储系统基准评测程序生成方法和装置，属于高性能计算性能评测领域。存储系统基准评测程序生成方法包括：从规范化后的源程序获得中间代码；识别中间代码中的切片起点；基于识别得到的切片起点进行静态程序切片；以及基于得到的各个静态程序切片生成精简代码。该方法基于程序切片技术，通过在编译器中分析数据依赖、控制依赖和通信依赖，自动抽取所有和输入输出相关的语句操作,组成一个可编译、可运行、人工可读、可移植的精简程序代码。该精简程序可忠实地反映原始应用程序的输入输出负载特征，且执行该精简程序需要更少的时间和资源,方便快速评测。对于快速评测高性能存储系统的性能、辅助存储系统设计,本精简程序生成方法十分有效。

公开(公告)号：CN104184828A

公开(公告)日：2014-12-03

申请号：CN201410455171.3

申请日：2014-09-09

Applicant: 清华大学

Inventor： 郑纬民 ,  陈文光 ,  薛巍 ,  翟季冬 ,  陈康

IPC: H04L29/08 ,  H04L12/18

CPC classification number: H04L65/4076 ,  H04L12/1836 ,  H04L61/2015 ,  H04L67/02 ,  H04L67/1095 ,  H04L67/1097

Abstract: 提供了混合网络系统、通信方法和网络节点。混合网络系统包括点对点网络和广播网络的组合网络体系架构，点对点网络具有多个点对点信道，每个网络节点能够经由点对点信道将消息发送到对应的网络节点或者从对应的网络节点接收消息；广播网络具有多个广播信道，每个广播信道同时最多只能有一个发送者，但能够有多个接收者；至少部分网络节点具有发送要广播的消息的能力，至少部分网络节点具有接收广播的消息的能力，至少一些网络节点被配置为至少根据自身要执行的通信任务，选择广播网络或点对点网络来完成要执行的通信任务。优选每个网络节点均具有发送和接收广播的消息的能力。本发明实施例的混合网络系统具有高灵活性和高通信性能。

公开(公告)号：CN101334743B

公开(公告)日：2011-06-29

申请号：CN200810112081.9

申请日：2008-05-21

Applicant: 清华大学

Inventor： 郑纬民 ,  陈文光 ,  翟季冬 ,  张瑾

IPC: G06F9/54 ,  G06F9/46

Abstract: 基于配置文件的并行程序自动映射实现方法属于并行程序进程映射的技术领域，其特征是：自动获取目标平台的网络拓扑图，减少用户干预；对并行程序中每条组通信按照分解知识库中分解算法拆分成对应进程的点通信并形成组通信矩阵，把得到的组通信矩阵和并行程序中原有的点通信矩阵线性叠加得到并行程序的通信拓扑图；然后使用K-way图划分算法实现并行程序的进程映射。实验证明，通过本发明找到的最优进程映射方式，比MPI默认的进程映射方式在性能方面具有显著提高。

公开(公告)号：CN101661409A

公开(公告)日：2010-03-03

申请号：CN200910093067.3

申请日：2009-09-22

Applicant: 清华大学

Inventor： 郑纬民 ,  陈文光 ,  翟季冬 ,  盛田维 ,  何江舟

IPC: G06F9/54

Abstract: 本发明涉及一种并行程序通信模式的提取方法及系统，该方法包括步骤：解析并行程序源码，识别并行程序中的通信函数调用，确定所述通信函数中的通信变量，并将所述通信变量放入设定集合；分析并行程序的控制流和数据流，收集并行程序的数据依赖、控制依赖以及通信依赖信息；收集并行程序中的调用信息，构建程序调用图；通过基于LIVE变量传播的切割算法对并行程序进行程序切割，获得并行程序的程序切片；执行所述程序切片，收集并输出通信记录；根据所述通信记录，按照设定目标获取所述并行程序的通信模式。本发明的方法及系统可减少收集大规模并行程序通信模式的资源需求和时间开销，实现在小规模系统上收集大规模并行程序通信模式的目标。