一种分布式文件系统的自适应压缩方法及系统

    公开(公告)号:CN105718538B

    公开(公告)日:2019-05-14

    申请号:CN201610030950.8

    申请日:2016-01-18

    Inventor: 查礼 王锐坚 王超

    Abstract: 本发明提出一种分布式文件系统的自适应压缩方法及系统,涉及分布式系统文件压缩领域,该方法包括步设置压缩文件格式,形成压缩数据流,所述压缩数据流由头部信息与多个数据块组成,其中所述头部信息用于判断所述压缩数据流是否已经过压缩;接收所述待压缩文件,将所述待压缩文件按照所述压缩文件格式将所述待压缩文件进行压缩生成所述压缩数据流;设置索引文件,其中所述索引文件由多个记录组成,每条记录维护所述压缩数据流中数据的数据信息,所述索引文件用于快速定位所述压缩数据流。本发明能够提高压缩效率,节省压缩时间。

    一种通过软硬件协同支持读写性能隔离的I/O调度器

    公开(公告)号:CN109213583A

    公开(公告)日:2019-01-15

    申请号:CN201810825619.4

    申请日:2018-07-25

    Abstract: 本发明涉及一种基于Linux内核技术通过软硬件协同支持读写性能隔离的I/O调度器,该I/O调度器是在Linux内核的现有I/O调度器中增加了四个单元,即包括有队列分配单元(10)、优先级设置单元(20)、队列延迟时间对比单元(30)和队列深度调节单元(40),同时将Linux内核现有的I/O软件队列(50)和I/O硬件队列(60)中的I/O优先级进行对接;旨在不修改上层应用的前提下,降低应用业务混部带来的性能干扰,即最大程度的做到混部应用的资源隔离。采用本发明设计的I/O调度器处理后能够在数据处理系统中的在线读负载和批量写负载混部,即读写I/O混部的情况下,保持写I/O性能不变的同时,将读I/O的性能提升。

    一种面向虚拟机群应用的虚拟节点配置方法

    公开(公告)号:CN103475704B

    公开(公告)日:2016-09-28

    申请号:CN201310403402.1

    申请日:2013-09-06

    Abstract: 本发明提供一种面向虚拟机群应用的虚拟节点配置方法,包括下列步骤:1)定制虚拟MAC地址的编码方案,虚拟MAC地址包括虚拟机群标识符、虚拟网卡标识符和用于承载虚拟机群应用的应用层配置信息的字段;所述虚拟机群应用的应用层配置信息的项目包括a)、b)、c)中的任意一项或多项,其中a)为虚拟节点的角色,b)为网络访问控制策略,c)为单个节点中的多网卡、多IP协同策略;2)建立MAC地址与IP地址的映射关系;3)对于待配置的虚拟机群应用,根据所定制的编码方案为每个虚拟节点分配虚拟MAC地址。本发明能够支持虚拟机群应用即启即用;能够广泛地适用于各类虚拟机群应用。

    提高顺序表性能方法、系统、架构、优化方法及存储装置

    公开(公告)号:CN105045891A

    公开(公告)日:2015-11-11

    申请号:CN201510462899.3

    申请日:2015-07-31

    Inventor: 查礼 刘威

    CPC classification number: G06F17/30327

    Abstract: 本发明提供一种提高分布式顺序表性能的方法、系统、改进的HBase架构、数据存储装置及内存数据存储结构优化方法,该提高分布式顺序表性能的方法,通过对HB+-Trie树结构进行改进来提高分布式顺序表性能,包括:步骤1,为HB+-Trie树结构选择最佳分段值,根据所述最佳分段值将键值key分成不同的段,并对不同的分段进行层次存储从而构成所述HB+-Trie树结构的节点;步骤2,为所述HB+-Trie树结构的每个节点设定一个阈值,节点中数据条数小于相应的阈值则不向下扩展。由此,能够提高现有分布式顺序表系统插入性能、删除性能、查询性能和降低内存利用率。

    一种多维区间查询方法及系统

    公开(公告)号:CN101866358A

    公开(公告)日:2010-10-20

    申请号:CN201010205946.3

    申请日:2010-06-12

    Abstract: 本发明涉及一种多维区间查询方法和系统,方法包括:步骤1,将用于备份数据的副本组织成为多份互为补充和校验的互补聚簇索引表;互补聚簇索引表以每个索引列创建一张以列值加原行主键加列值长度为新主键的顺序表,并将原行中其余列的数据完整存储;互补聚簇索引表用于供查询时进行连续扫描;步骤2,将查询串转换为查询计划树,进行查询优化后完成查询的执行。本发明能够同时满足高性能、低存储开销和高可靠性要求。

    一种面向分布式顺序表的缓存方法及系统

    公开(公告)号:CN105045894B

    公开(公告)日:2018-12-04

    申请号:CN201510463230.6

    申请日:2015-07-31

    Abstract: 本发明涉及分布式信息处理技术领域,特别涉及一种面向分布式顺序表的缓存方法及系统,该方法包括为所有数据块设置基础分值,当进行数据查询操作时,通过分布式顺序表,获取数据查询操作所涉及的数据范围,统计数据范围中各数据块将要被访问的访问次数,将访问次数累加到相应的数据块;当数据块被缓存命中时,被命中的数据块的分值减去固定值,当缓存空间已满时,则触发缓存的换出操作,在换出操作开始时,根据数据块的分值进行排序,从分值最小的数据块开始淘汰,直到缓存空间能够增加数据块。

    基于不一致窗口的索引表与主文件一致性强度的度量方法

    公开(公告)号:CN107291823A

    公开(公告)日:2017-10-24

    申请号:CN201710380223.9

    申请日:2017-05-25

    Abstract: 本发明涉及一种基于不一致窗口的索引表与主文件一致性强度的度量方法,该方法包括有:向存在的数据库索引软件读取主文件中记录的步骤;对记录进行不同进程下的读或写操作得到度量操作的步骤;多进程下的并发执行串行化获得执行序列的步骤;对执行序列按照度量操作结束时间先后排序获得结果序列的步骤;最后是根据不一致窗口度量方法计算索引技术的不一致窗口大小的步骤。本发明的方法解决了现有数据库索引技术的缺陷,即没有一种定量去度量索引表与主文件之间的一致性强度的方法,也无法比较在属于同一种一致性模型下数据库索引技术的一致性强度。

    一种面向虚拟机群应用的虚拟节点配置方法

    公开(公告)号:CN103475704A

    公开(公告)日:2013-12-25

    申请号:CN201310403402.1

    申请日:2013-09-06

    Abstract: 本发明提供一种面向虚拟机群应用的虚拟节点配置方法,包括下列步骤:1)定制虚拟MAC地址的编码方案,虚拟MAC地址包括虚拟机群标识符、虚拟网卡标识符和用于承载虚拟机群应用的应用层配置信息的字段;所述虚拟机群应用的应用层配置信息的项目包括a)、b)、c)中的任意一项或多项,其中a)为虚拟节点的角色,b)为网络访问控制策略,c)为单个节点中的多网卡、多IP协同策略;2)建立MAC地址与IP地址的映射关系;3)对于待配置的虚拟机群应用,根据所定制的编码方案为每个虚拟节点分配虚拟MAC地址。本发明能够支持虚拟机群应用即启即用;能够广泛地适用于各类虚拟机群应用。

    一种通过软硬件协同支持读写性能隔离的I/O调度器

    公开(公告)号:CN109213583B

    公开(公告)日:2022-03-29

    申请号:CN201810825619.4

    申请日:2018-07-25

    Abstract: 本发明涉及一种基于Linux内核技术通过软硬件协同支持读写性能隔离的I/O调度器,该I/O调度器是在Linux内核的现有I/O调度器中增加了四个单元,即包括有队列分配单元(10)、优先级设置单元(20)、队列延迟时间对比单元(30)和队列深度调节单元(40),同时将Linux内核现有的I/O软件队列(50)和I/O硬件队列(60)中的I/O优先级进行对接;旨在不修改上层应用的前提下,降低应用业务混部带来的性能干扰,即最大程度的做到混部应用的资源隔离。采用本发明设计的I/O调度器处理后能够在数据处理系统中的在线读负载和批量写负载混部,即读写I/O混部的情况下,保持写I/O性能不变的同时,将读I/O的性能提升。

Patent Agency Ranking