-
公开(公告)号:CN103793475A
公开(公告)日:2014-05-14
申请号:CN201410005142.7
申请日:2014-01-06
Applicant: 无锡城市云计算中心有限公司
CPC classification number: G06F17/30221 , G06F17/30194
Abstract: 本发明公开了一种分布式文件系统数据迁移的方法,该方法包括:数据迁移时,迁移的源文件选择为经常修改或写入的文件,对于正在迁移的文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,而未修改的数据再迁移。本发明相对于传统的冷数据迁移可以大大减少负载均衡的时间,并且节省大量的网络io和磁盘io,达到各节点数据负载的快速均衡。
-
公开(公告)号:CN103761268B
公开(公告)日:2017-12-01
申请号:CN201410004748.9
申请日:2014-01-06
Applicant: 无锡城市云计算中心有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种分布式文件系统的数据存储布局的方法,该方法包括:将文件按长度区间分为不同的段,第一个段选用副本方式存储数据内容,之后的段选用节点间raid的方式存储数据内容,这样做之后对于小文件其均不超过第一段的大小,用副本方式即省空间又可以减少计算量,可以做到小文件的快速存储,而对于大文件,之后的段均为节点间raid的方式存储,可以节省大量的存储空间。本发明通过对文件不同长度的区间按不同方式存储数据,在未知文件大小的情况下,解决了不同大小文件对文件系统的不同要求,既满足了小文件的高性能,又满足了大文件的高空间利用率。
-
公开(公告)号:CN104156474A
公开(公告)日:2014-11-19
申请号:CN201410422309.X
申请日:2014-08-25
Applicant: 曙光信息产业股份有限公司 , 无锡城市云计算中心有限公司
IPC: G06F17/30
CPC classification number: G06F17/30117 , G06F17/30194
Abstract: 本发明提供了一种分布式文件系统中文件的快速删除方法,当删除分布式文件系统中的文件时,先在元数据服务器上将对应的元数据信息加入到回收目录下,然后返回删除成功,元数据服务器定时扫描回收目录,将其中文件对应的数据对象重命名为新的对象名,该对象名为系统中下一批待分配给新文件的文件对象,这样在有新文件数据写入时,可以直接使用刚回收文件重命名的对象,在读取文件时,按元数据中记录的文件大小判断有效数据的大小,从而达到不真正删除磁盘对象,且不影响正常读写,而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象,真正做到了文件的快速删除,且不产生磁盘数据IO,从而不影响正常数据的读写IO。
-
公开(公告)号:CN103761268A
公开(公告)日:2014-04-30
申请号:CN201410004748.9
申请日:2014-01-06
Applicant: 无锡城市云计算中心有限公司
IPC: G06F17/30
CPC classification number: G06F17/30091 , G06F17/30194
Abstract: 本发明涉及一种分布式文件系统的数据存储布局的方法,该方法包括:将文件按长度区间分为不同的段,第一个段选用副本方式存储数据内容,之后的段选用节点间raid的方式存储数据内容,这样做之后对于小文件其均不超过第一段的大小,用副本方式即省空间又可以减少计算量,可以做到小文件的快速存储,而对于大文件,之后的段均为节点间raid的方式存储,可以节省大量的存储空间。本发明通过对文件不同长度的区间按不同方式存储数据,在未知文件大小的情况下,解决了不同大小文件对文件系统的不同要求,既满足了小文件的高性能,又满足了大文件的高空间利用率。
-
公开(公告)号:CN103678715A
公开(公告)日:2014-03-26
申请号:CN201310752681.2
申请日:2013-12-31
Applicant: 无锡城市云计算中心有限公司
CPC classification number: G06F17/30194 , G06F17/30088
Abstract: 本发明提供一种分布式文件系统中支持快照的元数据信息管理方法,包括以下步骤:对段资源进行管理;创建文件快照并对创建的文件快照进行修改;对iNode资源进行管理;创建目录快照并对创建的目录快照进行修改。本发明提供的分布式文件系统中支持快照的元数据信息管理方法,将MDS中iNode信息、段信息分别采用iNode管理器和段管理器进行维护,并通过管理器维护的方法,顺其自然的实现了分布式文件系统的快照。
-
公开(公告)号:CN104156474B
公开(公告)日:2017-06-23
申请号:CN201410422309.X
申请日:2014-08-25
Applicant: 曙光信息产业股份有限公司 , 无锡城市云计算中心有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种分布式文件系统中文件的快速删除方法,当删除分布式文件系统中的文件时,先在元数据服务器上将对应的元数据信息加入到回收目录下,然后返回删除成功,元数据服务器定时扫描回收目录,将其中文件对应的数据对象重命名为新的对象名,该对象名为系统中下一批待分配给新文件的文件对象,这样在有新文件数据写入时,可以直接使用刚回收文件重命名的对象,在读取文件时,按元数据中记录的文件大小判断有效数据的大小,从而达到不真正删除磁盘对象,且不影响正常读写,而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象,真正做到了文件的快速删除,且不产生磁盘数据IO,从而不影响正常数据的读写IO。
-
公开(公告)号:CN103678715B
公开(公告)日:2017-06-23
申请号:CN201310752681.2
申请日:2013-12-31
Applicant: 无锡城市云计算中心有限公司
Abstract: 本发明提供一种分布式文件系统中支持快照的元数据信息管理方法,包括以下步骤:对段资源进行管理;创建文件快照并对创建的文件快照进行修改;对iNode资源进行管理;创建目录快照并对创建的目录快照进行修改。本发明提供的分布式文件系统中支持快照的元数据信息管理方法,将MDS中iNode信息、段信息分别采用iNode管理器和段管理器进行维护,并通过管理器维护的方法,顺其自然的实现了分布式文件系统的快照。
-
公开(公告)号:CN103793475B
公开(公告)日:2017-06-06
申请号:CN201410005142.7
申请日:2014-01-06
Applicant: 无锡城市云计算中心有限公司
Abstract: 本发明公开了一种分布式文件系统数据迁移的方法,该方法包括:数据迁移时,迁移的源文件选择为经常修改或写入的文件,对于正在迁移的文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,而未修改的数据再迁移。本发明相对于传统的冷数据迁移可以大大减少负载均衡的时间,并且节省大量的网络io和磁盘io,达到各节点数据负载的快速均衡。
-
-
-
-
-
-
-