-
公开(公告)号:CN115470154A
公开(公告)日:2022-12-13
申请号:CN202111036692.1
申请日:2021-09-06
申请人: 华为技术有限公司
摘要: 一种数据访问方法,在该方法中,存储系统包括多个节点,其中,存储系统的内存池包括多个节点中的复数个节点的内存,多个节点中还包括第一节点,该第一节点包括接口卡,则该方法包括:接口卡接收第一应用的数据访问请求,该数据访问请求包括目标数据在内存池中的目标全局内存地址,其中,第一应用可以来自于存储系统中任意一个节点,并且目标全局内存地址对应所述内存池中唯一的存储空间;然后,接口卡根据目标全局内存地址得到目标数据的目标局部内存地址,其中,目标局部内存地址用于指示目标数据在存储目标数据的节点的内存中的存储空间;最后,接口卡向第一应用发送目标数据,或者目标局部内存地址。该方法能有效提高内存池中数据操作性能。
-
公开(公告)号:CN114490463A
公开(公告)日:2022-05-13
申请号:CN202011271692.5
申请日:2020-11-13
申请人: 华为技术有限公司
摘要: 本申请实施例提供一种保序执行写请求的方法和网络设备,所述方法由存储节点的网络设备执行,其特征在于,包括:接收保序确认请求,所述保序确认请求中携带分配给第一写请求的第一写入地址;确认被分配了第二写入地址的第二写请求还未完成执行,其中,所述第二写入地址在所述第一写入地址之前;延迟发送所述保序确认请求的反馈信息。通过根据本申请实施例的方法,减少了在执行保序确认请求时对RDMA通信带宽的占用,提高了存储系统的通信效率。
-
公开(公告)号:CN103930890A
公开(公告)日:2014-07-16
申请号:CN201380002568.0
申请日:2013-10-30
申请人: 华为技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30162 , G06F17/30631 , G06F17/30303 , G06F17/30321
摘要: 本发明实施例,通过对数据主要按照第一查询单位的数据对应的索引值来做索引,第一查询单位包括了多个最小数据块,通过从每个最小数据块中取出部分比特位来组成对应于第一查询单位的索引值,大大缩减索引匹配时间,提升了索引匹配效率,同时也使得大幅度减少索引对内存的占用称为可能。
-
公开(公告)号:CN115202859A
公开(公告)日:2022-10-18
申请号:CN202110821704.5
申请日:2021-07-20
申请人: 华为技术有限公司
摘要: 本申请公开了一种内存扩展方法以及相关设备,第一网络设备可以根据目标应用的内存需求信息以及第一内存池内的内存资源的使用情况生成内存拓扑,进而根据内存拓扑在第一内存池内建立第二内存池,第二内存池用于指示目标应用被允许使用的内存资源。这样,第一网络设备可以根据内存需求信息和第一内存池内资源的使用情况合理地向目标应用分配内存,动态调整各内存池之间的业务负载分配,使得各内存池的业务负载合理分布,降低了集群作业的等待时间,提升了作业效率。
-
公开(公告)号:CN112788079A
公开(公告)日:2021-05-11
申请号:CN201911083122.0
申请日:2019-11-07
申请人: 华为技术有限公司
发明人: 游俊
IPC分类号: H04L29/08
摘要: 本申请提供一种数据传输方法、网络设备、网络系统及芯片。当所述网络设备被配置为目的端网络设备时,会接收源端设备的写请求,并执行所述写请求以将所述写请求中的待写数据写入目的端设备。在所述待写数据写入所述目的端设备后,从所述目的端设备中读取已写入数据。将所述写请求中的待写数据与所述读取的已写入数据进行比较;当所述待写数据与所述读取的已写入数据相同,返回写成功响应给所述源端设备;当所述待写数据与所述读取的已写入数据不同,返回写失败响应给所述源端设备。采用本申请的方法,通过目的端网络设备对写入的数据进行校验,无需再将数据传输至源端设备进行校验,从而减少了对网络传输资源的消耗,而且降低了数据传输的时延。
-
-
公开(公告)号:CN103930890B
公开(公告)日:2015-09-23
申请号:CN201380002568.0
申请日:2013-10-30
申请人: 华为技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30162 , G06F17/30631
摘要: 本发明实施例,通过对数据主要按照第一查询单位的数据对应的索引值来做索引,第一查询单位包括了多个最小数据块,通过从每个最小数据块中取出部分比特位来组成对应于第一查询单位的索引值,大大缩减索引匹配时间,提升了索引匹配效率,同时也使得大幅度减少索引对内存的占用称为可能。
-
公开(公告)号:CN104239518A
公开(公告)日:2014-12-24
申请号:CN201410475287.3
申请日:2014-09-17
申请人: 华为技术有限公司
IPC分类号: G06F17/30
CPC分类号: G06F3/0641 , G06F3/0608 , G06F3/067 , G06F11/1453 , G06F17/30156 , G06F21/60 , G06F17/30159
摘要: 本发明实施例提供一种重复数据删除方法和装置。该方法包括:接收外部设备发送的覆盖写请求,所述覆盖写请求中携带数据块和待存储所述数据块的第一地址;判断所述第一地址在[t1,t2]时间段内覆盖写次数是否超过第一阈值;其中,所述t1和t2均为时间点,所述t2大于t1;若是,则不对所述数据块执行重删操作;若否,则对所述数据块执行重删操作。本发明实施例提供的方法,节省了大量的存储服务器的计算资源,同时也减小了重删操作对数据存储网络性能的影响。
-
公开(公告)号:CN117436499A
公开(公告)日:2024-01-23
申请号:CN202211634067.1
申请日:2022-12-19
申请人: 华为技术有限公司
IPC分类号: G06N3/084 , G06N3/0464 , G06N3/048 , G06F13/42
摘要: 本申请提供了一种模型训练系统,应用于模型训练系统,其中,模型训练系统中的第二节点用于发送多个参数获取请求至第一节点;第一节点用于根据多个参数获取请求确定多个参数获取请求所获取的参数分别存储在第一内存及第二内存,将从第一内存及第二内存获取的参数进行合并,并将合并后的参数发送至第二节点;第二节点还用于接收合并后的参数,并使用合并后的参数对模型进行训练。本申请将从第一内存和第二内存中获取到的参数进行合并后发送,尤其在推荐模型训练等节点之间需要传递的参数数量较多的场景中,可以使得传输的报文数量大大降低,进而提高数据的传输效率。
-
公开(公告)号:CN114625762A
公开(公告)日:2022-06-14
申请号:CN202011360768.1
申请日:2020-11-27
申请人: 华为技术有限公司
IPC分类号: G06F16/2455 , G06F16/2457 , G06F16/22 , H04L67/01
摘要: 本申请提供了一种元数据获取方法,应用于网络设备,该网络设备用于连接客户端及服务端,服务端的内存中缓存有应用的部分数据的元数据信息,该方法包括以下步骤:接收客户端发送目标元数据的访问请求;在内存中访问请求指定的位置处获取元数据信息;将所获取的元数据信息与目标元数据的信息比较确定目标元数据是否存储在内存中;当目标元数据存储在内存中时,获取目标元数据并将目标元数据传输至客户端,当在内存中没有查到目标元数据时,网卡会继续请求服务端的处理器查询目标元数据,而不需要通知客户端,由客户端再发一次查询请求至服务器的处理器,从而减少客户端的负载、节省了网络带宽、还降低了元数据的查询时延。
-
-
-
-
-
-
-
-
-