一种日志数据建模分析方法及计算机可读存储介质

    公开(公告)号:CN111858527B

    公开(公告)日:2023-07-07

    申请号:CN202010576181.8

    申请日:2020-06-22

    摘要: 本发明提供一种日志数据建模分析方法及计算机可读存储介质,方法包括:根据自定义的日志关键信息抽取每条日志数据中的关键信息;关键信息包括至少一种信息;根据关键信息构建所述日志之间的日志子图,日志子图是可扩展的属性图;日志子图包括顶点和所述顶点的属性边;顶点是所述关键信息中的一种信息,顶点的属性边根据顶点的属性在两个存在关联关系的顶点之间构建;每个顶点和属性边从属至少一个日志子图;所有日志子图组成第一集合并存储;接收用户的访问请求,根据访问请求对第一集合进行建模分析生成与访问请求对应的分析结果。提出可扩展的属性图的结构,大大提升了日志图这样天然的异构图的表达分析能力。

    并行程序共享数据类漏洞的检测方法及系统

    公开(公告)号:CN103679038A

    公开(公告)日:2014-03-26

    申请号:CN201310659010.1

    申请日:2013-12-06

    申请人: 清华大学

    IPC分类号: G06F21/57 G06F11/36

    摘要: 本发明提出一种并行程序共享数据类漏洞的检测方法,包括以下步骤:为软件不变量中的各条指令的动态实例定义瞬时Fetter集,其中,软件不变量是指程序中执行顺序预先固定的指令集合;获取瞬时Fetter集的包含集和义务集;将包含集和义务集进行剪枝以获取剪枝后的结果,并将剪枝后的结果存储在不变量数据库中;利用检测组件检测各个瞬时Fetter集是否出现不满足对应的包含集和义务集的第一瞬时Fetter集,如果是,则判断第一瞬时Fetter集包含漏洞,检测组件生成违例报告;暂停当前运行的线程以阻止检测到的漏洞的运行。本发明的方法,可以自动地检测以及防止程序中潜在的共享数据类漏洞。本发明还提出一种并行程序共享数据类漏洞的检测系统。

    分布式图计算系统和分布式图计算方法

    公开(公告)号:CN110704693A

    公开(公告)日:2020-01-17

    申请号:CN201910924175.4

    申请日:2019-09-27

    申请人: 清华大学

    IPC分类号: G06F16/901

    摘要: 分布式图计算系统和方法,系统包括多个计算机和数据库,每台计算机上具有一个或多个计算结点,首先进行初始化,各个计算结点分别从数据库中读取不相交的原图的一部分边;主体计算流程,采用以子图为中心的迭代化计算方法,同时加入图缩减和重新划分过程以加速收敛,其中每轮迭代包含以下步骤:重新划分步骤,在每轮迭代的开始,首先对当前计算的图进行重新划分;本地计算步骤;缩减步骤,每个计算结点本地计算完成后,删除被判定无用的部分点/边,对原图进行重构;判断剩下的所有边是否能够存储在单个计算结点,为是的情况下,迭代结束,否则返回到重新划分步骤。本发明图计算方技术可以有效减少算法收敛所需的迭代轮数,提高计算效率。

    数据共识方法及分布式系统、电子设备和存储介质

    公开(公告)号:CN118069672A

    公开(公告)日:2024-05-24

    申请号:CN202410288639.8

    申请日:2024-03-13

    申请人: 清华大学

    IPC分类号: G06F16/23 G06F16/27

    摘要: 本公开涉及数据共识方法及分布式系统、电子设备和存储介质,所述方法包括:分布式系统中的各个节点当前处于第一工作模式,第一工作模式包括:每个节点响应于接收到客户端发送的数据操作请求,检测待完成的数据操作中是否存在相互冲突的数据操作;在不存在相互冲突的数据操作的情况下,执行待完成的数据操作;在存在相互冲突的数据操作的情况下,各个节点切换到第二工作模式,第二工作模式包括:主节点将主节点日志同步给从节点;从节点根据主节点日志,执行从节点待完成的数据操作;在执行完相互冲突的数据操作的情况下,主节点及从节点切换回第一工作模式。由此,能够针对分布式系统实现快速有效的数据一致性复制,并降低了时延、提高了吞吐量。

    一种图数据的查询方法、系统及装置

    公开(公告)号:CN117807325A

    公开(公告)日:2024-04-02

    申请号:CN202311629911.6

    申请日:2023-11-30

    申请人: 清华大学

    摘要: 本发明提供了一种图数据的查询方法、系统及装置,所述查询方法包括:将图数据划分为多个分片存储,且对于每个分片,配置一个独立的处理单元;根据用户提供的查询请求,将图查询分解为对分片数据和状态访问的遍历操作,其中,该遍历操作由分片对应的处理单元执行;根据所有遍历操作的汇总结果,向用户返回最终的查询结果。本发明可以降低图数据查询的延迟,提高可扩展性和可使用性。

    一种基于引用计数的自动分布式内存管理方法

    公开(公告)号:CN118585323A

    公开(公告)日:2024-09-03

    申请号:CN202410659025.6

    申请日:2024-05-24

    申请人: 清华大学

    IPC分类号: G06F9/50

    摘要: 本发明属于分布式内存管理系统技术领域,公开一种基于引用计数的自动分布式内存管理方法包括:内存分配路径包括快速路径与慢速路径;快速路径中,客户端从页面中分配一个本地的空闲块,如果不存在本地空闲块,将进入慢速路径分配内存;内存分配时,对内存池进行访问的客户端在内存分配页面中分配一个存储对象并标示为已使用,然后为客户端或访问的储存对象的待分配数据信息查找空闲块,将空闲块的地址写入存储对象中。本发明通过将远程分布式共享内存进行不断划分的方式,对其进行了分层,用于存储分配给客户端的空间以及用以加速分配的相关信息。用户可以直接访问到分配的空间,而中间的对象和结构对其透明。

    元数据自适应压缩缓存方法、查找方法及装置、设备和介质

    公开(公告)号:CN118210768A

    公开(公告)日:2024-06-18

    申请号:CN202410354268.9

    申请日:2024-03-26

    申请人: 清华大学

    摘要: 本公开涉及元数据自适应压缩缓存方法、查找方法及装置、设备和介质,所述缓存方法包括:获取待缓存至内存的元数据信息;在内存的第一缓存层已满的情况下,将第一缓存层中的第一末尾元数据信息进行淘汰,并将元数据信息完整缓存至第一缓存层;从第一末尾元数据信息中筛选出精简元数据信息;在第二缓存层已满的情况下,将第二缓存层中的第二末尾元数据信息进行淘汰,并将精简元数据信息缓存至第二缓存层;确定第二末尾元数据信息中的可压缩元数据和/或不可压缩元数据,并对可压缩元数据进行压缩,得到压缩元数据;将压缩元数据和/或不可压缩元数据分别缓存至内存的第三缓存层。由此,能够有效降低大量元数据信息在内存中缓存时的空间占用量。

    一种用于Transformer模型推理计算的方法、系统及装置

    公开(公告)号:CN117725963A

    公开(公告)日:2024-03-19

    申请号:CN202311482067.9

    申请日:2023-11-08

    申请人: 清华大学

    IPC分类号: G06N3/0455 G06N5/04

    摘要: 本发明提供了一种用于Transformer模型推理计算的方法,所述方法包括:将一个Transformer模型的计算图切分为由计算子图和注意力算子交替串接的结构;使用两种不同型号或不同种类的计算设备,进行推理计算的过程。本发明还公开了用于Transformer模型推理计算的系统及装置。本发明通过将Transformer模型进行切分,并且针对不同的部分采用不同类型的设备进行计算,可以显著提高硬件资源的利用率,降低成本。

    一种日志数据建模分析方法及计算机可读存储介质

    公开(公告)号:CN111858527A

    公开(公告)日:2020-10-30

    申请号:CN202010576181.8

    申请日:2020-06-22

    摘要: 本发明提供一种日志数据建模分析方法及计算机可读存储介质,方法包括:根据自定义的日志关键信息抽取每条日志数据中的关键信息;关键信息包括至少一种信息;根据关键信息构建所述日志之间的日志子图,日志子图是可扩展的属性图;日志子图包括顶点和所述顶点的属性边;顶点是所述关键信息中的一种信息,顶点的属性边根据顶点的属性在两个存在关联关系的顶点之间构建;每个顶点和属性边从属至少一个日志子图;所有日志子图组成第一集合并存储;接收用户的访问请求,根据访问请求对第一集合进行建模分析生成与访问请求对应的分析结果。提出可扩展的属性图的结构,大大提升了日志图这样天然的异构图的表达分析能力。

    并行程序共享数据类漏洞的检测方法及系统

    公开(公告)号:CN103679038B

    公开(公告)日:2016-09-21

    申请号:CN201310659010.1

    申请日:2013-12-06

    申请人: 清华大学

    IPC分类号: G06F21/57 G06F11/36

    CPC分类号: G06F8/70 G06F11/3632

    摘要: 本发明提出一种并行程序共享数据类漏洞的检测方法,包括以下步骤:为软件不变量中的各条指令的动态实例定义瞬时Fetter集,其中,软件不变量是指程序中执行顺序预先固定的指令集合;获取瞬时Fetter集的包含集和义务集;将包含集和义务集进行剪枝以获取剪枝后的结果,并将剪枝后的结果存储在不变量数据库中;利用检测组件检测各个瞬时Fetter集是否出现不满足对应的包含集和义务集的第一瞬时Fetter集,如果是,则判断第一瞬时Fetter集包含漏洞,检测组件生成违例报告;暂停当前运行的线程以阻止检测到的漏洞的运行。本发明的方法,可以自动地检测以及防止程序中潜在的共享数据类漏洞。本发明还提出一种并行程序共享数据类漏洞的检测系统。