基于静态共享变量识别的动态数据竞争检测方法

    公开(公告)号:CN102760095A

    公开(公告)日:2012-10-31

    申请号:CN201110103794.0

    申请日:2011-04-25

    申请人: 清华大学

    IPC分类号: G06F11/36

    摘要: 本发明公开了一种基于静态共享变量识别的动态数据竞争检测方法,包括:S1:识别待检测程序的共享变量;S2:对所述待检测程序中包含共享变量的基本块进行数据竞争检测插装和采样,得到所述待检测程序经插装和采样后的二进制代码,所述基本块是指一个连续的程序语句序列,控制流从它的开始进入,并从它的末尾离开,中间没有中断或者分支;S3:运行所述二进制代码动态检测所述点检测程序中的数据竞争。本发明对含有共享变量的基本块进行插装和采样,避免了代码膨胀问题,大大减小了系统开销。

    基于配置文件的并行程序自动映射实现方法

    公开(公告)号:CN101334743B

    公开(公告)日:2011-06-29

    申请号:CN200810112081.9

    申请日:2008-05-21

    申请人: 清华大学

    IPC分类号: G06F9/54 G06F9/46

    摘要: 基于配置文件的并行程序自动映射实现方法属于并行程序进程映射的技术领域,其特征是:自动获取目标平台的网络拓扑图,减少用户干预;对并行程序中每条组通信按照分解知识库中分解算法拆分成对应进程的点通信并形成组通信矩阵,把得到的组通信矩阵和并行程序中原有的点通信矩阵线性叠加得到并行程序的通信拓扑图;然后使用K-way图划分算法实现并行程序的进程映射。实验证明,通过本发明找到的最优进程映射方式,比MPI默认的进程映射方式在性能方面具有显著提高。

    分布式文件系统及利用其存储数据和提供服务的方法

    公开(公告)号:CN102012933A

    公开(公告)日:2011-04-13

    申请号:CN201010570126.4

    申请日:2010-12-02

    申请人: 清华大学

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种分布式文件系统,包括:元数据服务器,用于保存所有用户标识符对应的数据服务器节点的列表以及该节点与其标识符的对应关系,维护每个节点的负载情况,并指导数据服务器执行负载均衡和冗余恢复的操作,负载情况以数据量来表征;数据服务器,用于存储用户的数据以及对应的用户的元数据,每个用户的数据存储在一个单独的目录下,并使用标识符对目录进行区分;文件系统客户端,用于形成本地文件目录,并将操作转发到相应的数据服务器;应用程序客户端,用于通过文件系统客户端所形成的文件目录使用户访问文件系统,从而为用户提供应用程序。本发明还提供了利用该系统存储数据和提供服务的方法。本发明提高了存储个人用户数据的效率。

    并行程序通信模式的提取方法及系统

    公开(公告)号:CN101661409A

    公开(公告)日:2010-03-03

    申请号:CN200910093067.3

    申请日:2009-09-22

    申请人: 清华大学

    IPC分类号: G06F9/54

    摘要: 本发明涉及一种并行程序通信模式的提取方法及系统,该方法包括步骤:解析并行程序源码,识别并行程序中的通信函数调用,确定所述通信函数中的通信变量,并将所述通信变量放入设定集合;分析并行程序的控制流和数据流,收集并行程序的数据依赖、控制依赖以及通信依赖信息;收集并行程序中的调用信息,构建程序调用图;通过基于LIVE变量传播的切割算法对并行程序进行程序切割,获得并行程序的程序切片;执行所述程序切片,收集并输出通信记录;根据所述通信记录,按照设定目标获取所述并行程序的通信模式。本发明的方法及系统可减少收集大规模并行程序通信模式的资源需求和时间开销,实现在小规模系统上收集大规模并行程序通信模式的目标。

    数据处理方法、执行工作站、分布式计算系统和存储介质

    公开(公告)号:CN115599956A

    公开(公告)日:2023-01-13

    申请号:CN202110766780.0

    申请日:2021-07-07

    申请人: 清华大学(CN)

    发明人: 俞博文 陈文光

    IPC分类号: G06F16/901 G06F16/903

    摘要: 一种数据处理方法、执行工作站、分布式计算系统和计算机可读存储介质。该数据处理方法包括:将具有预定数据格式的聚合子拆分为多个聚合子片段;将多个聚合子片段中的第一部分聚合子片段发送至其它执行工作站用于在其它执行工作站上进行归约;从其它执行工作站接收其它执行工作站产生的与多个聚合子片段中的第二部分聚合子片段对应的聚合子片段并将其与第二部分聚合子片段进行归约以更新第二部分聚合子片段;重新确定第一部分聚合子片段和第二部分聚合子片段并执行上述发送、接收和归约,直至多个聚合子片段的每一个都被发送或完成所有归约;以及将完成所有归约的聚合子片段发送至管理工作站。

    并行程序可扩展性瓶颈检测方法和计算装置

    公开(公告)号:CN114503084A

    公开(公告)日:2022-05-13

    申请号:CN202080035153.3

    申请日:2020-08-27

    申请人: 清华大学

    IPC分类号: G06F11/36

    摘要: 提供了一种计算机执行的并行程序可扩展性瓶颈检测方法,包括:针对所述程序源码,构建程序结构图;基于采样技术在并行程序运行时收集性能数据,所述性能数据包括:程序结构图每个顶点的硬件计数器性能数据和通信顶点的进程间通信依赖性能数据;基于构建的程序结构图和采样收集的性能数据,以采集的性能数据填充程序结构图来构建程序性能图,程序性能图记录了每个进程的数据和控制依赖性以及进程间的通信依赖性;从程序性能图检测有问题的顶点,以及从有问题的顶点中的部分或者全部开始,通过进程中的数据/控制相关性边以及不同进程之间的通信相关性边进行反向跟踪,来检测自动扩展性瓶颈所处的顶点。

    性能故障诊断的方法及计算机设备

    公开(公告)号:CN114416419A

    公开(公告)日:2022-04-29

    申请号:CN202210063054.7

    申请日:2022-01-19

    申请人: 清华大学

    IPC分类号: G06F11/07 G06F11/30

    摘要: 本发明实施例涉及计算机技术领域,尤其涉及一种性能故障诊断的方法及计算机设备。所述方法包括:获取目标程序对应的至少两个程序切片,于所述各个程序切片,获取所述各个程序切片对应的第一性能信息,于所述各个程序切片对应的所述第一性能信息,对所述各个程序切片进行分类处理,确认分类结果,于所述分类结果和所述第一性能信息,确定目标程序中发生故障的目标进程,于所述发生故障的目标进程和预构建的性能故障分解架构,确定目标程序的性能故障原因。仅需要捕获程序运行过程中函数的调用过程,进而根据捕获结果对目标程序切片,分析,输出结果,极大的保护了被测程序的安全性和私密性,极大的提高了工作效率。

    时序图的图数据管理方法及其装置

    公开(公告)号:CN105095371A

    公开(公告)日:2015-11-25

    申请号:CN201510370342.7

    申请日:2015-06-29

    IPC分类号: G06F17/30

    摘要: 提供了时序图的图数据管理方法和装置,图由顶点和边组成。图数据管理方法包括:获得时序图的事件数据;以及以二维空间-时间数据块C=(Vc,Tc)形式组织时序图的数据并存储在存储设备上,一个维度是时间维度,另一个维度是顶点维度,数据块C=(Vc,Tc)保存一个时间区间[sc,tc]中与顶点集合Vc相关的数据,所述数据块C=(Vc,Tc)逻辑上包括与顶点集合Vc相关的、在时刻sc处图的快照以及在时间区间[sc,tc]内发生事件的日志,其中Vc是顶点集合,Tc指示时间区间,Tc=[sc,tc],sc表示该时间区间的起始时刻,tc表示该时间区间的结束时刻。根据本发明实施例的时序图的图数据管理方法和图数据管理装置,以二维空间-时间数据块形式组织时序图,适合于高效地存储和查询时序图数据。

    面向云平台的自动优化存储系统配置的方法及系统

    公开(公告)号:CN104834479A

    公开(公告)日:2015-08-12

    申请号:CN201510202621.2

    申请日:2015-04-24

    申请人: 清华大学

    IPC分类号: G06F3/06

    摘要: 本发明涉及一种面向云平台的自动优化存储系统配置的方法及系统,以解决现有技术需要用户具有大量关于存储系统配置的先验知识或统计分析数据的工作量很大的问题。该方法包括:获取候选参数;对所述候选参数进行重要性排名;根据重要性排名结果提取重要候选参数,利用所述重要候选参数生成训练数据库;根据所述训练数据库建立预测模型;提取出目标应用程序的负载特征;根据预测模型对所述目标应用程序的负载特征进行处理,生成并输出优化配置参数及各优化配置参数的取值。由于只选取了部分候选参数,且收集的数据集可为所有用户共享,减少了用户训练数据收集的均摊代价。整个优化配置过程自动完成,不需要用户具有大量关于存储系统配置的先验知识。

    一种作业调度方法和计算装置

    公开(公告)号:CN103810037A

    公开(公告)日:2014-05-21

    申请号:CN201410012660.1

    申请日:2014-01-10

    申请人: 清华大学

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本发明提供了一种作业调度方法和计算装置,该方法包括:在检测到计算资源不足以运行当前的队首作业时,计算相应的回填窗口;缩短非队首作业对应的运行时间估计,并根据缩短后的运行时间估计判断所述非队首作业是否能够回填,并在判断为是时,将相应的非队首作业回填;在回填窗口结束且剩余计算资源不足以运行当前的队首作业时,停止当前运行的回填作业,并针对-被终止的回填作业设置检查点;并在再次重启所述回填作业时,根据所述回填作业中的检查点执行未完成部分的计算任务。采用本发明提供的作业调度方法,能够提高系统资源的利用率,减少作业的等待时间。