基于内容感知的固态盘内存缓存管理方法、设备及固态盘

    公开(公告)号:CN111443874B

    公开(公告)日:2021-07-27

    申请号:CN202010232889.1

    申请日:2020-03-28

    Inventor: 卢梦婷 王芳 冯丹

    Abstract: 本发明公开了一种基于内容感知的固态盘内存缓存管理方法、设备及固态盘,属于计算机存储领域,包括:创建影子缓存,用于缓存首次被读取的数据块的元数据;创建数据缓存,缓存写入的和被多次读取的数据块;初始化主映射表和二级映射表,分别用于记录逻辑地址到物理地址或虚拟地址的映射关系,以及虚拟地址到物理地址的映射关系;接收到读写操作请求时,根据逻辑地址查找主映射表以获取主映射表条目,然后判断是否存在对应的二级映射表条目,若是,则从二级映射表条目提取数据状态标志,否则,从主映射表条目提取数据状态标志;结合数据状态标志和请求类型,执行请求。本发明能够减轻底层并行单元访问竞争,从而提升固态盘的读性能。

    一种面向突发性负载的选择性副本实现方法及系统

    公开(公告)号:CN110362426B

    公开(公告)日:2021-07-27

    申请号:CN201910544859.1

    申请日:2019-06-21

    Abstract: 本发明公开了一种面向突发性负载的选择性副本实现方法及系统,属于云对象存储领域,包括:存储服务器接收到访问请求后,获得目标数据对象副本所在的目标存储设备,并确定是否由目标存储设备服务该访问请求;若由目标存储设备服务该访问请求且其中的副本为基础副本,则预测目标数据对象是否将被突发访问;若预测目标数据对象将被突发访问,则在响应中进行标记;存储客户端接收到含标记的响应后,将响应中的数据缓存在本地后再返回给请求发送方,然后获取一个满足副本创建条件的存储设备,获取成功后将数据迁移至该设备,从而为目标数据对象创建一个新的额外副本。本发明能够提高云存储系统处理突发性负载时的资源利用率及系统性能。

    一种面向并发多任务的磁盘图处理方法

    公开(公告)号:CN112988064A

    公开(公告)日:2021-06-18

    申请号:CN202110175548.X

    申请日:2021-02-09

    Inventor: 王芳 冯丹 徐湘灏

    Abstract: 本发明提供了一种面向并发多任务的磁盘图处理方法,属于计算机大数据处理技术领域,包括:将输入图数据转换的边数据块和顶点值集存储至磁盘中;执行多个图任务时,将顶点值集加载至内存中,且在内存中采用一进一出方式加载边数据块;基于多个图任务并发访问的边数据块和顶点值集,利用任务更新函数,更新目的顶点值;当访问的所有边数据块的目的顶点值均更新,且满足收敛条件时,输出最终的顶点值;否则,在内存中循环加载边数据块,并更新目的顶点值;本发明可以降低磁盘的I/O访问开销。

    一种基于RDMA的非易失内存系统的通信方法及服务器

    公开(公告)号:CN112667416A

    公开(公告)日:2021-04-16

    申请号:CN202011564580.9

    申请日:2020-12-25

    Abstract: 本发明公开了一种基于RDMA的非易失内存系统的通信方法及服务器,即提供一种基于RDMA技术和NVM的数据通信方法,该方法包括:服务器以日志结构的方式在非易失内存中维护数据的多个版本,对象的多个版本组成链表,链表头结点被哈希表索引。客户端使用RDMA write写数据,服务器使用后台线程进行数据完整性验证和持久化,通过一致性感知的持久化保证数据在读之前完整持久化,进而保证强一致性。本发明还提供了实现上述方法的系统。本发明有效地保证了基于RDMA的非易失内存系统的数据强一致性,同时保证在写为主的场景下的高性能和高可扩展,避免了数据较大时CRC校验引起的读性能降级。

    一种基于多租户云存储的资源管理方法和资源管理系统

    公开(公告)号:CN110580127B

    公开(公告)日:2020-10-16

    申请号:CN201810577638.X

    申请日:2018-06-07

    Abstract: 本发明公开了一种基于多租户云存储的资源管理方法及管理系统,方法包括:得到每一个租户的租户性能需求,并对应地记录在租户所使用的虚拟机镜像文件的元数据内;为每一个虚拟机镜像文件的元数据添加一个令牌桶;在IO栈的页缓存层,获取被访问的虚拟机镜像文件的索引节点对象,并利用令牌桶算法对内存资源进行调度;在IO栈的文件系统层,将文件IO请求转换成对应的块IO请求;对于每一个文件IO请求,获取其所访问的虚拟机镜像文件的索引节点对象,从中获取租户性能需求并附加到由该文件IO请求转换得到的每一个块IO请求中;在IO栈的块层,从块IO请求中获取租户性能需求,并利用令牌桶算法对硬盘资源进行调度。本发明能够有效实现租户间的性能隔离。

    一种基于固态盘阵列和缓存的数据处理方法及系统

    公开(公告)号:CN107402890B

    公开(公告)日:2020-10-02

    申请号:CN201710604527.9

    申请日:2017-07-24

    Abstract: 本发明公开了一种基于固态盘阵列和缓存的数据处理方法及装置,包括:接收写请求,指示固态盘和缓存写入所述写请求对应的数据;通过哈希表指示所述缓存中存储的每个芯片最后一次写入的数据;当所述缓存被写满时,优先替换第一条带在所述缓存中的数据块,所述第一条带在所述缓存中的包括的数据块最多,当所述第一条带被替换时,指示所述芯片计算所述第一条带的校验信息并将该校验信息写入所述芯片中;当有芯片失效时,通过所述哈希表恢复该失效芯片中最后一次写入的数据,通过未失效芯片中的数据和校验信息恢复失效芯片中对应逻辑地址上的数据。本发明通过缓存延迟校验块更新,改善芯片阵列小写性能和擦除次数问题。

    一种提高开放通道固态盘写并行性的方法

    公开(公告)号:CN109799959B

    公开(公告)日:2020-07-10

    申请号:CN201910058679.2

    申请日:2019-01-22

    Abstract: 本发明公开了一种提高开放通道固态盘写并行性的方法,包括:创建N个环形缓冲区,分别用于缓存由N个CPU发送的写请求写入的数据;分别在各环形缓冲区的元数据中记录写回通道编号,用于标识将环形缓冲区中的数据写入开放通道固态盘时所选择的通道编号;初始时刻,写回通道编号相同的环形缓冲区数不超过对于每一个环形缓冲区Bi,持续检测其中缓存的数据量Di;在数据量Di大于或等于预设的数据量阈值时获得环形缓冲区Bi的写回通道编号Pi,并通过编号为Pi的通道将环形缓冲区Bi中的全部或部分数据写入开放通道固态盘;其中,N为主机中的CPU总数,M为开放通道固态盘中的通道总数。本发明能够有效提高开放通道固态盘的写并行性。

    一种基于非易失内存的一致性哈希表构建方法和系统

    公开(公告)号:CN109165321B

    公开(公告)日:2020-06-02

    申请号:CN201810851514.6

    申请日:2018-07-28

    Abstract: 本发明公开了一种基于非易失内存的一致性哈希表构建方法和系统,本发明方法构建一个一致性哈希表,将哈希表里所有的哈希单元分为两层,第一层是哈希函数可访问单元,第二层是哈希函数不可访问单元,第二层用于在第一层发生哈希冲突时进行冲突处理;每一层的哈希单元被分为数量相等的n组,第一层和第二层的具有相同编号的组相匹配;当第一层的第i组发生哈希冲突时,在第二层的第i组进行冲突处理,哈希表利用8字节原子写技术保证数据的一致性;该哈希表可以在系统崩溃后恢复到一致性状态。本发明还实现了一种基于非易失内存的哈希表构建系统。本发明技术方案构建的哈希表可减少一致性开销,并且具有低的请求延迟。

    一种基于混合更新策略的磁盘图处理方法

    公开(公告)号:CN109240600B

    公开(公告)日:2020-05-19

    申请号:CN201810816008.3

    申请日:2018-07-24

    Abstract: 本发明公开了基于混合更新策略的磁盘图处理方法,包括:(1)将图组织为入射子块—出射子块双重子块结构;(2)根据当前磁盘读写开销选择不同的更新策略,包括基于行导向的push策略和基于列导向的pull策略;(3)根据选择对图进行访问和顶点值进行更新;(4)判断是否达到收敛条件,若是,执行步骤(5),否则,执行步骤(2);(5)输出图的顶点值。本发明提供的混合更新策略,能够根据不同图的运行特征,自适应选择不同的更新策略,最大化磁盘利用,提升系统性能;基于行导向的push策略,选择性加载活跃边,避免无用磁盘数据的加载和磁盘读写浪费;基于列导向的pull策略,加载全部的图数据到内存中以确保磁盘的顺序访问,极大降低磁盘读写的开销。

    基于段映射进行数据布局和调度的混合存储方法及系统

    公开(公告)号:CN111078143A

    公开(公告)日:2020-04-28

    申请号:CN201911180458.9

    申请日:2019-11-27

    Abstract: 本发明公开了一种基于段映射进行数据布局和调度的混合存储方法及系统,属于计算机存储领域,包括:将NVM和SSD分别划分为多个数据段,每个数据段包含固定数量的数据块;SSD和NVM独立编址,且数据以段为单位分配存储空间;根据数据属性将数据块划分为冷数据块和热数据块,所分配的每个数据段中存储的数据块类型相同;分配热数据段时,在NVM和SSD中分别分配一个空闲的数据段,并建立两个数据段之间的映射关系,同时将所建立的映射关系保存至映射表中;分配冷数据段时,仅在SSD中分配一个空闲的数据段;将NVM中的数据迁移到SSD中时,直接将NVM中待迁移的数据段迁移到SSD中与之映射的数据段。本发明能够降低混合存储系统的管理开销,并提高回收效率。

Patent Agency Ranking