-
公开(公告)号：CN103678158B
公开(公告)日：2016-11-02
申请号：CN201310732673.1
申请日：2013-12-26
Applicant: 中国科学院信息工程研究所
IPC: G06F12/06
Abstract: 本发明涉及一种数据布局优化方法，具体包括以下步骤：步骤1：接收业务系统输入的连续数据流；步骤2：将数据流划分为连续无交叉的多个数据块；步骤3：判断待处理的数据块是否达到缓存上限，如果是，进行下一步；否则，跳转至步骤1；步骤4：计算得到缓存中的所有数据块的指纹；步骤5：将缓存中数据块的指纹与指纹列表中的指纹进行匹配，将匹配的数据块标记为重复数据块；将不指纹匹配的指纹存入指纹列表中；步骤6：更新数据块信息表中的数据块的物理位置信息；步骤7：根据数据块信息表中的各个数据块的物理位置信息存储对应的数据块。本发明提高了数据的顺序性，降低了数据布局的离散化，提高了重复数据删除系统的顺序读写性能。
-
公开(公告)号：CN103809981A
公开(公告)日：2014-05-21
申请号：CN201410066581.9
申请日：2014-02-26
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种通用文件系统的操作获取记录的方法，包括以下步骤：1.为文件操作截获模块与外部文件系统建立连接；2.判断是否是首次连接，如果是，执行步骤3；否则，执行步骤4；3.对不存在对应通信设备的空闲设备号进行创建通信设备，并对创建的通信设备与空闲设备号创建连接；4.接收并向文件操作截获模块发送截获指令信息；5.按照截获指令信息截获操作信息；6.将截获的操作信息发送到通信设备，将接收到的文件的操作信息发送到用户态操作记录模块；7.将处理后的操作信息按照不同类型写入存储空间；8.断开连接，完成卸载。本发明从文件系统级别掌握用户操作的特点，便于进一步的基于用户行为的数据分析和文件系统的特性改进等。
-
Patent Agency Ranking
公开(公告)号：CN103809981B
公开(公告)日：2017-06-23
申请号：CN201410066581.9
申请日：2014-02-26
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种通用文件系统的操作获取记录的方法，包括以下步骤：1：为文件操作截获模块与外部文件系统建立连接；2：判断是否是首次连接，如果是，执行步骤3；否则，执行步骤4；3：对不存在对应通信设备的空闲设备号进行创建通信设备，并对创建的通信设备与空闲设备号创建连接；4：接收并向文件操作截获模块发送截获指令信息；5：按照截获指令信息截获操作信息；6：将截获的操作信息发送到通信设备，将接收到的文件的操作信息发送到用户态操作记录模块；7：将处理后的操作信息按照不同类型写入存储空间；8：断开连接，完成卸载。本发明从文件系统级别掌握用户操作的特点，便于进一步的基于用户行为的数据分析和文件系统的特性改进等。
-
公开(公告)号：CN103761059B
公开(公告)日：2017-02-08
申请号：CN201410035889.7
申请日：2014-01-24
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种用于海量数据管理的多盘位存储方法及系统，所述方法包括：建立四层树型的数据存储结构,即一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；在每个数据存储节点上设置一个多盘位管理器，用于维护当前数据存储节点的磁盘信息，并在多盘位管理器的管理下，在磁盘中进行数据分片的增加或删除；通过多盘位管理器，对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。本发明既能充分利用多盘的并行读写的特点，又能够最小化数据盘出现故障时对其他盘的数据的影响，同时还能够不增加数据的冗余度，大大提高了系统效率。
-
公开(公告)号：CN103761059A
公开(公告)日：2014-04-30
申请号：CN201410035889.7
申请日：2014-01-24
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种用于海量数据管理的多盘位存储方法及系统，所述方法包括：建立四层树型的数据存储结构,即一个Master节点、位于Master节点下的若干数据存储节点、位于各数据存储节点下的若干磁盘和位于各磁盘下的若干数据分片；在每个数据存储节点上设置一个多盘位管理器，用于维护当前数据存储节点的磁盘信息，并在多盘位管理器的管理下，在磁盘中进行数据分片的增加或删除；通过多盘位管理器，对各数据存储节点之间的负载进行负载均衡分析，且同时对数据存储节点内部各磁盘间的负载进行负载均衡分析。本发明既能充分利用多盘的并行读写的特点，又能够最小化数据盘出现故障时对其他盘的数据的影响，同时还能够不增加数据的冗余度，大大提高了系统效率。
-
公开(公告)号：CN103729436A
公开(公告)日：2014-04-16
申请号：CN201310741599.X
申请日：2013-12-27
Applicant: 中国科学院信息工程研究所
IPC: G06F17/30
CPC classification number: G06F17/30289 , G06F17/30371
Abstract: 本发明涉及一种分布式元数据管理方法及系统，所述方法具体包括：存储步骤，划分独立的元数据节点和用户表节点，分别用于存储元数据和用户表，并采用多个元数据节点存储元数据的多副本，形成存储相同元数据的主副本节点和从副本节点；校验步骤，对主副本节点和从副本节点进行数据校验，以保证主副本节点和从副本节点存储的元数据一致；修复步骤，采用ZooKeeper技术建立基于主副本节点和从副本节点的监视环，当监视到有主副本节点或从副本节点宕机时，其触发主副本节点和从副本节点之间的切换，实现对宕机节点的修复。所述系统与分布式元数据管理方法的技术方案一一对应。本发明解决了元数据管理中存在的单点故障和多幅本间一致性等问题。
-
公开(公告)号：CN103678158A
公开(公告)日：2014-03-26
申请号：CN201310732673.1
申请日：2013-12-26
Applicant: 中国科学院信息工程研究所
Abstract: 本发明涉及一种数据布局优化方法，具体包括以下步骤：步骤1：接收业务系统输入的连续数据流；步骤2：将数据流划分为连续无交叉的多个数据块；步骤3：判断待处理的数据块是否达到缓存上限，如果是，进行下一步；否则，跳转至步骤1；步骤4：计算得到缓存中的所有数据块的指纹；步骤5：将缓存中数据块的指纹与指纹列表中的指纹进行匹配，将匹配的数据块标记为重复数据块；将不指纹匹配的指纹存入指纹列表中；步骤6：更新数据块信息表中的数据块的物理位置信息；步骤7：根据数据块信息表中的各个数据块的物理位置信息存储对应的数据块。本发明提高了数据的顺序性，降低了数据布局的离散化，提高了重复数据删除系统的顺序读写性能。
-
-
-
-
-
-
Search Results
7
records
(took 0.046 seconds)
