元数据处理方法、硬件加速网卡、系统及可读存储介质

    公开(公告)号:CN116893788A

    公开(公告)日:2023-10-17

    申请号:CN202311154317.6

    申请日:2023-09-08

    IPC分类号: G06F3/06 G06F9/50 G06F9/54

    摘要: 本发明在存储技术领域公开了一种元数据处理方法、硬件加速网卡、系统及可读存储介质,硬件加速网卡接收元数据请求对应的报文,判断报文是否包括元数据;若否,则将元数据请求发送到元数据服务,并利用元数据服务对元数据请求进行处理;若是,则利用加速器,将元数据的网络数据流解码为元数据缓存格式后,存入共享缓存;发送元数据请求到元数据服务,利用元数据服务对共享缓存中的元数据进行请求处理。在本发明的技术效果:将小文件处理过程中的最为占用CPU处理性能的环节,即元数据的反序列化,卸载到硬件加速网卡中进行处理,可直接减少CPU处理工作量,也可以借助于硬件的加速性能,突破小文件处理效率的瓶颈。

    一种文件访问方法、系统、设备以及介质

    公开(公告)号:CN112148678B

    公开(公告)日:2023-01-06

    申请号:CN202010985509.1

    申请日:2020-09-18

    发明人: 张端 李雪生

    摘要: 本发明公开了一种文件访问方法,包括以下步骤:响应于接收到访问文件的请求,根据所述请求判读是否需要穿越预设目录;响应于需要穿越所述预设目录,获取超级块信息;根据待访问文件的属性和所述超级块信息确定所述待访问文件所在的挂载目录;响应于所述待访问文件在所确定的所述挂载目录下,对所述待访问文件进行访问。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案能够将多个NFS客户端的挂载目录挂载到同一目录下,并可以根据超级块信息进行负载均衡,即将IO负载到不同的NFS服务端。

    一种加快日志落入磁盘的方法、系统、设备及介质

    公开(公告)号:CN111736985B

    公开(公告)日:2023-01-06

    申请号:CN202010471492.8

    申请日:2020-05-29

    发明人: 李伟 李雪生

    摘要: 本发明公开了一种加快日志落入磁盘的方法、系统、设备和存储介质,方法包括以下步骤:设置内存使用状况与数据存储成员对象申请内存的大小的对应关系;获取当前服务器的内存使用状况,并基于对应关系确定申请内存的最大值;申请最大值对应的内存,并将首个日志段的元数据进行编码并存入申请的内存中;以及判断后续日志段的元数据是否产生变化,响应于元数据产生变化,将产生变化的部分进行编码并存入申请的内存中,并将内存中的数据写入磁盘中。本发明提出的方案通过提高用于打包操作的申请的内存块的大小,减少内存的申请次数,并只对发生改变的部分进行打包,降低了时延,加快了日志落盘的速度。

    分布式存储系统的文件句柄分配方法、装置、设备及介质

    公开(公告)号:CN114817194A

    公开(公告)日:2022-07-29

    申请号:CN202210269112.1

    申请日:2022-03-18

    发明人: 李雪生 张凯 帅威

    IPC分类号: G06F16/182 G06F16/13

    摘要: 本发明公开了一种分布式存储系统的文件句柄分配方法、装置、设备及计算机可读存储介质,该方法包括:根据客户端发送的用户请求,判断是否存在与用户请求对应的文件句柄;若存在,则基于文件句柄对用户请求进行IO处理;若不存在,则判断当前已分配的文件句柄总数量是否达到预设阈值;若达到,则将用户请求添加至等待队列中等待;若未达到,则向用户请求分配文件句柄,以便基于文件句柄对用户请求进行IO处理;本发明中通过上述分配机制能够更好地完成文件句柄的分配,通过控制文件句柄的并发数量能够更好的控制文件读写并发数量,从而提高文件读写性能,提高分布式存储系统的并发性能。

    一种混合读写流量控制方法和装置

    公开(公告)号:CN112260955A

    公开(公告)日:2021-01-22

    申请号:CN202010988128.9

    申请日:2020-09-18

    发明人: 马龙 李雪生

    IPC分类号: H04L12/801 G06F3/06

    摘要: 本发明公开了一种混合读写流量控制方法,包括:对服务端配置针对读写请求的可授权的credit数;响应于接收到从客户端向服务端发送读写请求的指示,计算读写请求需要消耗的credit数,并根据需要消耗的credit数向服务端发送读写请求;响应于服务端接收到读写请求,判断服务端的可授权的credit数是否充足;响应于判断可授权的credit数不充足,则根据可授权的credit数为客户端授权需要消耗的credit数中的部分credit数;记录需要消耗的credit数中未授权的credit数,并响应于接收到从客户端向服务端发送新的读写请求的指示,根据未授权的credit数和新的读写请求需要消耗的credit数向服务端发送读写请求。本发明还公开了一种相应的装置。本发明可以实现控制混合读写场景下的读写带宽。

    一种针对SMB协议读请求的交互加速方法与系统

    公开(公告)号:CN111770054A

    公开(公告)日:2020-10-13

    申请号:CN202010471169.0

    申请日:2020-05-28

    发明人: 马龙 李雪生

    IPC分类号: H04L29/06

    摘要: 本发明提供了一种针对SMB协议读请求的交互加速方法与系统,本发明在服务端samba程序向客户端发送读响应时,直接访问lib层内存结构bufferlist结构中数据所在的内存空间,不需要额外的内存拷贝过程,将读取的数据发送给客户端,发送完成后通知lib层释放对应的bufferlist,通过此种方式能够降低服务端samba程序对读请求的处理耗时,从而提高客户端获取数据的性能。

    分布式存储系统的Lookup处理方法、系统、终端及存储介质

    公开(公告)号:CN111737027A

    公开(公告)日:2020-10-02

    申请号:CN202010469771.0

    申请日:2020-05-28

    发明人: 李伟 李雪生

    IPC分类号: G06F9/54 G06F16/182

    摘要: 本发明提供一种分布式存储系统的Lookup处理方法、系统、终端及存储介质,所述分布式存储系统包括主服务节点和多个分服务节点,方法包括:所述多个分服务节点均通过本地监测线程监测自身热度并实时将自身热度发送至主服务节点;所述分服务节点的监测线程确认自身热度超过预设热度阈值之后,将所述分服务节点作为待均衡节点向主服务节点请求查询热度最低的分服务节点信息;所述待均衡节点将主服务节点返回的分服务节点作为目标节点,且所述待均衡节点将本地任务队列中的Lookup消息发送至目标节点。本发明能够加快MDS集群处理lookup类型消息的整体速度,从而达到提高上层应用性能稳定性的目的,避免性能拨动对正常业务造成的不良影响。

    一种用户数据保护的方法和设备

    公开(公告)号:CN112988672A

    公开(公告)日:2021-06-18

    申请号:CN202011401092.6

    申请日:2020-12-04

    发明人: 张端 李雪生

    IPC分类号: G06F16/16 G06F21/62 G06F21/64

    摘要: 本发明提供了一种用户数据保护的方法和设备,该方法包括:响应于接收到用户创建文件的指令,查询用户是否在数据保护用户列表中;响应于用户在数据保护用户列表中,创建文件并在元数据信息中将文件标记为数据保护文件,其中,数据保护文件在第一次关闭后其他用户只能以只读方式打开数据保护文件;响应于接收到销毁文件的命令,获取文件的数据在存储池中的数据块的ID;将ID对应的数据块上写入0,并在元数据信息中将文件修改为非数据保护文件并删除文件。通过使用本发明的方案,能够以较小的维护成本达到数据防篡改和防泄露的目的,提高了用户数据的安全性。

    一种分布式存储文件系统提升文件探知速度的方法、装置

    公开(公告)号:CN111966635A

    公开(公告)日:2020-11-20

    申请号:CN202010820221.9

    申请日:2020-08-14

    发明人: 李伟 李雪生

    摘要: 本发明提供一种分布式存储文件系统提升文件探知速度的方法、装置,该方法包括如下步骤:当元数据服务接收到某个目录下文件探知操作时,检查当前元数据服务的日志文件是否有发送该文件探知操作的客户端对应的该目录下文件探知操作锁缓存;若否,对该目录进行加锁操作;加锁完成后,进行文件探知操作并将生成的锁缓存的相关数据存入该元数据服务的日志文件;若是,进行文件探知操作,并更新锁缓存的加锁时间;当元数据服务发生切换时,读取原有的元数据服务相应的日志文件,来恢复新的元数据服务的锁缓存数据。可达到充分利用资源减少锁操作,加快文件探知速度的目的,进一步即可降低上层应用的时延波动,增强分布式存储系统的性能稳定性。

    一种分布式系统的元数据访问方法、系统、设备以及介质

    公开(公告)号:CN111708734A

    公开(公告)日:2020-09-25

    申请号:CN202010475904.5

    申请日:2020-05-29

    发明人: 罗浩 李雪生 李杰

    摘要: 本发明公开了一种分布式系统的元数据访问方法,包括以下步骤:响应于客户端发起元数据访问请求,判断客户端是否缓存有元数据;响应于客户端缓存有元数据,判断元数据是否被标记为失效;响应于元数据被标记为失效,重新向元数据服务器发起元数据访问请求;判断元数据服务器的缓存中的元数据是否被标记为失效;响应于元数据服务器的缓存中的元数据被标记为失效,从元数据服务器的元数据盘中获取并缓存元数据。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案通过判断缓存中的元数据是否被标记为失效,失效则在元数据盘中获取实际的元数据,实现客户端与元数据服务器之间的元数据同步。