公开(公告)号：CN115794734A

公开(公告)日：2023-03-14

申请号：CN202211417386.7

申请日：2022-11-11

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F16/11 ,  G06F16/182 ,  H04L67/1097

摘要： 本公开提供了一种对文件存储系统进行读写操作的方法、装置和设备，涉及计算机技术领域，尤其涉及分布式存储技术领域。具体实现方案为：在工作状态处于主状态的情况下，接收来自终端设备的读写请求；以及根据读写请求，对文件存储系统进行读写操作；在工作状态处于从状态的情况下，获取目标数据管理节点的目标版本信息，其中，目标数据管理节点与本地数据管理节点具有相同的数据管理进程；以及在目标版本信息指示低于本地版本信息的情况下，将工作状态由从状态切换为主状态。

公开(公告)号：CN114647559A

公开(公告)日：2022-06-21

申请号：CN202210282220.2

申请日：2022-03-21

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F11/34 ,  G06F11/30 ,  G06F16/17 ,  G06F16/182

摘要： 本申请公开了一种存储使用量的统计方法、装置、电子设备及存储介质，涉及计算机技术领域，尤其涉及分布式存储技术。具体实现方案为：客户端向存储集群中的各个存储节点发送存储使用量的查询命令；接收存储集群中的各个存储节点响应于查询命令所返回的各个文件系统在各个存储节点上的存储使用量；基于各个文件系统在各个存储节点上的存储使用量，统计各个文件系统的总存储使用量。本申请实施例可以在任意时间实时精确地查询每个文件系统的存储使用量，并且具有耗时少、数据精确无误差、不影响线上正常服务的优点。

公开(公告)号：CN117112546A

公开(公告)日：2023-11-24

申请号：CN202311061908.9

申请日：2023-08-22

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F16/215 ,  H04L67/1097 ,  G06F16/24 ,  G06F3/06 ,  G06F16/22 ,  G06F16/27

摘要： 本公开提供了一种数据操作方法、装置、设备和存储介质，涉及人工智能领域，尤其涉及云计算、云存储、云网络和云数据库技术领域。具体实现方案为：响应于数据操作请求，确定待操作的目标数据所属的目标逻辑区和目标逻辑区所属的目标逻辑块；基于本地缓存的候选逻辑块和候选物理群组之间的映射关系，确定与所述目标逻辑块关联的目标物理群组；其中，每个所述候选逻辑块包括至少两个逻辑区；每个所述候选物理群组包括至少两个物理段；从所述目标物理群组所包括的至少两个物理段中选择与所述目标逻辑区关联的目标物理段；对所述目标物理段所在的存储空间进行数据操作。本公开实施例可以提高数据操作的执行效率。

公开(公告)号：CN114780022A

公开(公告)日：2022-07-22

申请号：CN202210307583.7

申请日：2022-03-25

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F3/06 ,  G06F11/14

摘要： 本公开提供了追加写操作实现方法、装置、电子设备及存储介质，涉及分布式存储等人工智能领域，其中的方法可包括：向目标存储节点写入数据，所述数据为待处理的追加写操作请求写入的数据，目标存储节点为所述追加写操作对应的数据块的副本所在的存储节点；若确定数据写入成功，则向目标存储节点发送信息提交请求，用于请求目标存储节点将所述追加写操作对应的预定信息持久化到本地；若确定信息持久化成功，则向所述追加写操作的发起方返回写入成功信息。应用本公开所述方案，可减少反馈延迟，提升数据写入效率等。

公开(公告)号：CN114116613B

公开(公告)日：2024-07-02

申请号：CN202111423724.3

申请日：2021-11-26

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F16/14 ,  G06F16/182 ,  G06F16/172 ,  G06F16/13

摘要： 本公开提供了一种基于分布式文件系统的元数据查询方法、装置、设备和存储介质，涉及计算机技术领域，尤其涉及分布式文件系统技术领域和数据存储技术领域。具体实现方案为：获取客户端对待查询文件的元数据查询请求；响应于所述元数据查询请求，确定自身页面置换缓存中是否存在有待查询文件所属父目录路径的父索引节点标识；在存在的情况下，根据所述父索引节点标识和待查询文件的文件名，从元数据库中查询待查询文件的元数据；其中，所述页面置换缓存根据客户端的目录修改操作调整。本公开实施例能够简化元数据查询流程，降低查询延迟。

公开(公告)号：CN115756316A

公开(公告)日：2023-03-07

申请号：CN202211413855.8

申请日：2022-11-11

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F3/06 ,  G06F16/13 ,  G06F16/182

摘要： 本公开提供了一种文件处理方法、装置、系统、电子设备及存储介质，涉及文件处理技术领域，具体涉及文件存储系统、容灾等技术领域，其中，方法包括：在确定主数据管理单元停止文件处理服务的情况下，从目标分布式文件存储系统获取所述主数据管理单元的同步索引文件；根据所述主数据管理单元的同步索引文件从所述目标分布式文件存储系统获取待同步小文件；生成所述待同步小文件的待同步索引记录；根据所述同步索引文件和所述待同步索引记录生成所述从数据管理单元的索引文件。本公开实施例能够提高分布式文件存储系统的高可用性和文件处理效率。

公开(公告)号：CN114780022B

公开(公告)日：2023-01-06

申请号：CN202210307583.7

申请日：2022-03-25

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F3/06 ,  G06F11/14

摘要： 本公开提供了追加写操作实现方法、装置、电子设备及存储介质，涉及分布式存储等人工智能领域，其中的方法可包括：向目标存储节点写入数据，所述数据为待处理的追加写操作请求写入的数据，目标存储节点为所述追加写操作对应的数据块的副本所在的存储节点；若确定数据写入成功，则向目标存储节点发送信息提交请求，用于请求目标存储节点将所述追加写操作对应的预定信息持久化到本地；若确定信息持久化成功，则向所述追加写操作的发起方返回写入成功信息。应用本公开所述方案，可减少反馈延迟，提升数据写入效率等。

公开(公告)号：CN114780021B

公开(公告)日：2022-11-29

申请号：CN202210307460.3

申请日：2022-03-25

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F3/06 ,  G06F11/14

摘要： 本公开提供了副本修复方法、装置、电子设备及存储介质，涉及分布式存储等人工智能领域，其中的方法可包括：收集符合预定条件的数据块；确定待修复副本，所述待修复副本为从收集到的数据块的副本中筛选出的长度小于所属数据块的长度的副本；对待修复副本中缺失的数据进行修复。应用本公开所述方案，可提升同一数据块的不同副本中的数据的一致性。

公开(公告)号：CN114968967A

公开(公告)日：2022-08-30

申请号：CN202210677417.6

申请日：2022-06-15

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F16/182 ,  G06F16/176 ,  G06F16/18 ,  G06F16/16 ,  G06F16/13

摘要： 本公开提供了一种文件管理方法、装置、设备和存储介质，涉及分布式技术领域，尤其涉及资源管理技术。具体实现方案为：响应于对共享文件的文件打开请求，在共享文件为已打开状态的情况下，则根据当前时间和共享文件的最新修改时间，识别共享文件是否异常打开；在共享文件异常打开的情况下，调整共享文件的当前版本标识，并分配在共享文件中写入内容的写入空间；响应于在写入空间写入完成后发起的对共享文件的属性更新请求，根据当前版本标识和属性更新请求中的目标版本标识的一致性，控制调整共享文件的内容属性信息；其中，内容属性信息中包括最新修改时间。根据本公开的技术，实现了对异常打开的共享文件的正常写入。

公开(公告)号：CN114780021A

公开(公告)日：2022-07-22

申请号：CN202210307460.3

申请日：2022-03-25

申请人： 北京百度网讯科技有限公司

发明人： 黎海兵

IPC分类号： G06F3/06 ,  G06F11/14

摘要： 本公开提供了副本修复方法、装置、电子设备及存储介质，涉及分布式存储等人工智能领域，其中的方法可包括：收集符合预定条件的数据块；确定待修复副本，所述待修复副本为从收集到的数据块的副本中筛选出的长度小于所属数据块的长度的副本；对待修复副本中缺失的数据进行修复。应用本公开所述方案，可提升同一数据块的不同副本中的数据的一致性。