一种数据访问方法、管理设备、地址管理装置和存储系统

    公开(公告)号:CN115470154A

    公开(公告)日:2022-12-13

    申请号:CN202111036692.1

    申请日:2021-09-06

    IPC分类号: G06F12/02 G06F9/50

    摘要: 一种数据访问方法,在该方法中,存储系统包括多个节点,其中,存储系统的内存池包括多个节点中的复数个节点的内存,多个节点中还包括第一节点,该第一节点包括接口卡,则该方法包括:接口卡接收第一应用的数据访问请求,该数据访问请求包括目标数据在内存池中的目标全局内存地址,其中,第一应用可以来自于存储系统中任意一个节点,并且目标全局内存地址对应所述内存池中唯一的存储空间;然后,接口卡根据目标全局内存地址得到目标数据的目标局部内存地址,其中,目标局部内存地址用于指示目标数据在存储目标数据的节点的内存中的存储空间;最后,接口卡向第一应用发送目标数据,或者目标局部内存地址。该方法能有效提高内存池中数据操作性能。

    一种保序执行写请求的方法及网络设备

    公开(公告)号:CN114490463A

    公开(公告)日:2022-05-13

    申请号:CN202011271692.5

    申请日:2020-11-13

    摘要: 本申请实施例提供一种保序执行写请求的方法和网络设备,所述方法由存储节点的网络设备执行,其特征在于,包括:接收保序确认请求,所述保序确认请求中携带分配给第一写请求的第一写入地址;确认被分配了第二写入地址的第二写请求还未完成执行,其中,所述第二写入地址在所述第一写入地址之前;延迟发送所述保序确认请求的反馈信息。通过根据本申请实施例的方法,减少了在执行保序确认请求时对RDMA通信带宽的占用,提高了存储系统的通信效率。

    一种内存扩展方法以及相关设备
    4.
    发明公开

    公开(公告)号:CN115202859A

    公开(公告)日:2022-10-18

    申请号:CN202110821704.5

    申请日:2021-07-20

    IPC分类号: G06F9/50 G06F9/54 G06F12/02

    摘要: 本申请公开了一种内存扩展方法以及相关设备,第一网络设备可以根据目标应用的内存需求信息以及第一内存池内的内存资源的使用情况生成内存拓扑,进而根据内存拓扑在第一内存池内建立第二内存池,第二内存池用于指示目标应用被允许使用的内存资源。这样,第一网络设备可以根据内存需求信息和第一内存池内资源的使用情况合理地向目标应用分配内存,动态调整各内存池之间的业务负载分配,使得各内存池的业务负载合理分布,降低了集群作业的等待时间,提升了作业效率。

    一种数据传输方法、网络设备、网络系统及芯片

    公开(公告)号:CN112788079A

    公开(公告)日:2021-05-11

    申请号:CN201911083122.0

    申请日:2019-11-07

    发明人: 游俊

    IPC分类号: H04L29/08

    摘要: 本申请提供一种数据传输方法、网络设备、网络系统及芯片。当所述网络设备被配置为目的端网络设备时,会接收源端设备的写请求,并执行所述写请求以将所述写请求中的待写数据写入目的端设备。在所述待写数据写入所述目的端设备后,从所述目的端设备中读取已写入数据。将所述写请求中的待写数据与所述读取的已写入数据进行比较;当所述待写数据与所述读取的已写入数据相同,返回写成功响应给所述源端设备;当所述待写数据与所述读取的已写入数据不同,返回写失败响应给所述源端设备。采用本申请的方法,通过目的端网络设备对写入的数据进行校验,无需再将数据传输至源端设备进行校验,从而减少了对网络传输资源的消耗,而且降低了数据传输的时延。

    一种数据处理方法及存储设备

    公开(公告)号:CN106383670A

    公开(公告)日:2017-02-08

    申请号:CN201610839436.9

    申请日:2016-09-21

    发明人: 袁冉胤 游俊 李伟

    IPC分类号: G06F3/06

    摘要: 本发明实施例提供了一种数据处理方案,在该数据处理方案中,存储设备存储有第一映射关系,第一映射关系包括第一特征值与特定格式数据的映射,存储设备计算第一数据块得到第一数据块的特征值,第一数据块的特征值为第一特征值;存储设备根据第一数据块的第一特征值查询第一映射关系确定第一映射关系中包含第一特征值,则第一数据块属于特定格式数据,存储设备不再对第一数据块进行重复数据删除操作。

    重复数据删除方法和装置

    公开(公告)号:CN104239518A

    公开(公告)日:2014-12-24

    申请号:CN201410475287.3

    申请日:2014-09-17

    IPC分类号: G06F17/30

    摘要: 本发明实施例提供一种重复数据删除方法和装置。该方法包括:接收外部设备发送的覆盖写请求,所述覆盖写请求中携带数据块和待存储所述数据块的第一地址;判断所述第一地址在[t1,t2]时间段内覆盖写次数是否超过第一阈值;其中,所述t1和t2均为时间点,所述t2大于t1;若是,则不对所述数据块执行重删操作;若否,则对所述数据块执行重删操作。本发明实施例提供的方法,节省了大量的存储服务器的计算资源,同时也减小了重删操作对数据存储网络性能的影响。

    一种模型训练系统、方法及相关设备

    公开(公告)号:CN117436499A

    公开(公告)日:2024-01-23

    申请号:CN202211634067.1

    申请日:2022-12-19

    摘要: 本申请提供了一种模型训练系统,应用于模型训练系统,其中,模型训练系统中的第二节点用于发送多个参数获取请求至第一节点;第一节点用于根据多个参数获取请求确定多个参数获取请求所获取的参数分别存储在第一内存及第二内存,将从第一内存及第二内存获取的参数进行合并,并将合并后的参数发送至第二节点;第二节点还用于接收合并后的参数,并使用合并后的参数对模型进行训练。本申请将从第一内存和第二内存中获取到的参数进行合并后发送,尤其在推荐模型训练等节点之间需要传递的参数数量较多的场景中,可以使得传输的报文数量大大降低,进而提高数据的传输效率。

    一种元数据获取方法、网络设备及系统

    公开(公告)号:CN114625762A

    公开(公告)日:2022-06-14

    申请号:CN202011360768.1

    申请日:2020-11-27

    摘要: 本申请提供了一种元数据获取方法,应用于网络设备,该网络设备用于连接客户端及服务端,服务端的内存中缓存有应用的部分数据的元数据信息,该方法包括以下步骤:接收客户端发送目标元数据的访问请求;在内存中访问请求指定的位置处获取元数据信息;将所获取的元数据信息与目标元数据的信息比较确定目标元数据是否存储在内存中;当目标元数据存储在内存中时,获取目标元数据并将目标元数据传输至客户端,当在内存中没有查到目标元数据时,网卡会继续请求服务端的处理器查询目标元数据,而不需要通知客户端,由客户端再发一次查询请求至服务器的处理器,从而减少客户端的负载、节省了网络带宽、还降低了元数据的查询时延。