一种用于倾斜数据的流式计算引擎运行方法及系统

    公开(公告)号:CN110990059B

    公开(公告)日:2021-11-19

    申请号:CN201911191154.2

    申请日:2019-11-28

    Abstract: 本发明提出一种用于倾斜数据的流式计算引擎运行方法及系统,包括:获取包含倾斜数据的用户作业,并将该用户作业转换为表示该用户作业的有向无环图,根据该有向无环图中算子的业务处理逻辑,将该有向无环图中节点划分为有状态算子和无状态算子;将全部状态算子包装为有状态任务后输入有状态数据流,将全部无状态算子包装为无状态任务后输入无状态数据流;将该无状态数据流中无状态任务复制发送至任意计算节点,得到无状态处理结果;将该有状态数据流中有状态任务转换为包含键和值的数据记录,将包含相同键的数据记录分配至相同计算节点,得到有状态处理结果,集合该无状态处理结果和有状态处理结果作为该用户作业的运行结果。

    一种内存访问的方法、设备及系统

    公开(公告)号:CN104346234B

    公开(公告)日:2017-09-26

    申请号:CN201310345355.X

    申请日:2013-08-09

    CPC classification number: G06F11/008 G06F11/1004

    Abstract: 本发明实施例提供一种内存访问的方法、设备及系统,提供层次化的,灵活的内存靠性级别的设定方法,实现不同运行对象类型、不同可靠性级别的内存访问机制。本发明实施例提供的方法包括:内存设备接收处理器发送的所述处理器的运行对象的可靠性级别信息;根据所述运行对象的可靠性级别信息建立第一映射关系和第二映射关系;接收所述处理器发送的访问请求;根据所述访问请求和所述第一映射关系对所述运行对象的数据进行访问,以及根据所述访问请求和所述第二映射关系对所述运行对象的容错编码进行访问。

    一种基于数据分布特征的高维向量压缩方法及装置

    公开(公告)号:CN119088772A

    公开(公告)日:2024-12-06

    申请号:CN202410995164.6

    申请日:2024-07-24

    Inventor: 于雷 李冰 张宇轩

    Abstract: 本发明提出一种基于数据分布特征的高维向量压缩方法,包括:获取待压缩的高维特征向量,该高维特征向量为文本特征向量、图像特征向量、或语音特征向量;统计该高维特征向量中指定维度的数据分布,去除该高维特征向量中数据分布小于预设值的维度,得到压缩中间向量;提取该压缩中间向量的协方差特征,作为该压缩中间向量中指定维度间的相关性,合并该压缩中间向量中相关性大于预设值的维度,得到压缩结果向量。

    一种用于电网分析应用的增量图计算方法及计算系统

    公开(公告)号:CN118819829A

    公开(公告)日:2024-10-22

    申请号:CN202410805665.3

    申请日:2024-06-21

    Abstract: 本发明提供了一种增量图数据计算方法,包括:图层构建步骤:基于原始图数据构建从上之下包括原始图层、中间子图层、顶层图层。计算步骤:响应图数据的变化,通过调整三层结构图的内部结构以实现不断变化的图数据的增量计算,每次计算进行多轮迭代直至图结构收敛,其中,在计算过程中,用外存储器存储图计算的所有中间结果,用内存储器动态存储图计算的部分中间结果,并且在外存储器和内存储器中均以中间子图结构为存储单位进行中间结果的读取或存储,顶层图层的所有中间结果作为一个整体进行存储,其中,为响应增量计算数据访问,采用启发式缓存替换策略更新内存储器中的中间结果。本发明相对现有图计算方法的内存占用平均降幅可达40%‑60%。

    一种用于倾斜数据的流式计算引擎运行方法及系统

    公开(公告)号:CN110990059A

    公开(公告)日:2020-04-10

    申请号:CN201911191154.2

    申请日:2019-11-28

    Abstract: 本发明提出一种用于倾斜数据的流式计算引擎运行方法及系统,包括:获取包含倾斜数据的用户作业,并将该用户作业转换为表示该用户作业的有向无环图,根据该有向无环图中算子的业务处理逻辑,将该有向无环图中节点划分为有状态算子和无状态算子;将全部状态算子包装为有状态任务后输入有状态数据流,将全部无状态算子包装为无状态任务后输入无状态数据流;将该无状态数据流中无状态任务复制发送至任意计算节点,得到无状态处理结果;将该有状态数据流中有状态任务转换为包含键和值的数据记录,将包含相同键的数据记录分配至相同计算节点,得到有状态处理结果,集合该无状态处理结果和有状态处理结果作为该用户作业的运行结果。

    一种相变存储器写加速方法及其系统

    公开(公告)号:CN103839580B

    公开(公告)日:2016-08-17

    申请号:CN201410064466.8

    申请日:2014-02-25

    Abstract: 本发明公开了一种相变存储器写加速方法,该方法包括:Partial?SET写操作判断步骤和写请求执行步骤,Partial?SET写操作判断步骤为判断相变存储器中当前写请求采用的写脉冲类型为SET或Partial?SET脉冲;写请求执行步骤为根据写脉冲类型,采用SET或快速Partial?SET方法,根据SET和RESET操作的不同写速度实现相变存储器的快速Partial?SET写加速,本发明还公开了一种相变存储器的写加速系统。

    一种消息式内存模组的访存方法和装置

    公开(公告)号:CN104347122A

    公开(公告)日:2015-02-11

    申请号:CN201310330220.6

    申请日:2013-07-31

    CPC classification number: G06F11/1068 G06F11/1044 G06F11/108 G11C29/52

    Abstract: 本发明公开了一种消息式内存模组的访存装置,包括:读写模块,用于将当前读写周期内待存储的SCBC存储到对应的DRAM中;处理模块,用于对一个内存行中的每个SCBC分别计算一组检错码,对一个内存行中的全部SCBC计算一组纠错码;所述读写模块,还用于将检错码存储在该内存行的第(M+2)个DRAM中,将纠错码存储在该内存行的第Z个DRAM中,Z为正整数且1≤Z≤(M+1),连续(M+1)个内存行中的纠错码分别存储在不同的DRAM中。本发明实施例还提供相应的方法。本发明技术方案以SCBC为基本读写单位进行细粒度编码保护,支持可变粒度访存,可以实现对单个DRAM中任意多位错误进行纠错。

    一种内存访问的方法、设备及系统

    公开(公告)号:CN104346234A

    公开(公告)日:2015-02-11

    申请号:CN201310345355.X

    申请日:2013-08-09

    CPC classification number: G06F11/008 G06F11/1004

    Abstract: 本发明实施例提供一种内存访问的方法、设备及系统,提供层次化的,灵活的内存靠性级别的设定方法,实现不同运行对象类型、不同可靠性级别的内存访问机制。本发明实施例提供的方法包括:内存设备接收处理器发送的所述处理器的运行对象的可靠性级别信息;根据所述运行对象的可靠性级别信息建立第一映射关系和第二映射关系;接收所述处理器发送的访问请求;根据所述访问请求和所述第一映射关系对所述运行对象的数据进行访问,以及根据所述访问请求和所述第二映射关系对所述运行对象的容错编码进行访问。

    一种相变存储器写加速方法及其系统

    公开(公告)号:CN103839580A

    公开(公告)日:2014-06-04

    申请号:CN201410064466.8

    申请日:2014-02-25

    Abstract: 本发明公开了一种相变存储器写加速方法,该方法包括:Partial-SET写操作判断步骤和写请求执行步骤,Partial-SET写操作判断步骤为判断相变存储器中当前写请求采用的写脉冲类型为SET或Partial-SET脉冲;写请求执行步骤为根据写脉冲类型,采用SET或快速Partial-SET方法,根据SET和RESET操作的不同写速度实现相变存储器的快速Partial-SET写加速,本发明还公开了一种相变存储器的写加速系统。

Patent Agency Ranking