-
公开(公告)号:CN103761268B
公开(公告)日:2017-12-01
申请号:CN201410004748.9
申请日:2014-01-06
Applicant: 无锡城市云计算中心有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种分布式文件系统的数据存储布局的方法,该方法包括:将文件按长度区间分为不同的段,第一个段选用副本方式存储数据内容,之后的段选用节点间raid的方式存储数据内容,这样做之后对于小文件其均不超过第一段的大小,用副本方式即省空间又可以减少计算量,可以做到小文件的快速存储,而对于大文件,之后的段均为节点间raid的方式存储,可以节省大量的存储空间。本发明通过对文件不同长度的区间按不同方式存储数据,在未知文件大小的情况下,解决了不同大小文件对文件系统的不同要求,既满足了小文件的高性能,又满足了大文件的高空间利用率。
-
公开(公告)号:CN104156474A
公开(公告)日:2014-11-19
申请号:CN201410422309.X
申请日:2014-08-25
Applicant: 曙光信息产业股份有限公司 , 无锡城市云计算中心有限公司
IPC: G06F17/30
CPC classification number: G06F17/30117 , G06F17/30194
Abstract: 本发明提供了一种分布式文件系统中文件的快速删除方法,当删除分布式文件系统中的文件时,先在元数据服务器上将对应的元数据信息加入到回收目录下,然后返回删除成功,元数据服务器定时扫描回收目录,将其中文件对应的数据对象重命名为新的对象名,该对象名为系统中下一批待分配给新文件的文件对象,这样在有新文件数据写入时,可以直接使用刚回收文件重命名的对象,在读取文件时,按元数据中记录的文件大小判断有效数据的大小,从而达到不真正删除磁盘对象,且不影响正常读写,而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象,真正做到了文件的快速删除,且不产生磁盘数据IO,从而不影响正常数据的读写IO。
-
公开(公告)号:CN103761268A
公开(公告)日:2014-04-30
申请号:CN201410004748.9
申请日:2014-01-06
Applicant: 无锡城市云计算中心有限公司
IPC: G06F17/30
CPC classification number: G06F17/30091 , G06F17/30194
Abstract: 本发明涉及一种分布式文件系统的数据存储布局的方法,该方法包括:将文件按长度区间分为不同的段,第一个段选用副本方式存储数据内容,之后的段选用节点间raid的方式存储数据内容,这样做之后对于小文件其均不超过第一段的大小,用副本方式即省空间又可以减少计算量,可以做到小文件的快速存储,而对于大文件,之后的段均为节点间raid的方式存储,可以节省大量的存储空间。本发明通过对文件不同长度的区间按不同方式存储数据,在未知文件大小的情况下,解决了不同大小文件对文件系统的不同要求,既满足了小文件的高性能,又满足了大文件的高空间利用率。
-
公开(公告)号:CN103793475B
公开(公告)日:2017-06-06
申请号:CN201410005142.7
申请日:2014-01-06
Applicant: 无锡城市云计算中心有限公司
Abstract: 本发明公开了一种分布式文件系统数据迁移的方法,该方法包括:数据迁移时,迁移的源文件选择为经常修改或写入的文件,对于正在迁移的文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,而未修改的数据再迁移。本发明相对于传统的冷数据迁移可以大大减少负载均衡的时间,并且节省大量的网络io和磁盘io,达到各节点数据负载的快速均衡。
-
公开(公告)号:CN102508890A
公开(公告)日:2012-06-20
申请号:CN201110326511.9
申请日:2011-10-25
Applicant: 无锡城市云计算中心有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种对象存储系统中对象一致性操作的方法,采用多副本的方式保存对象,同一对象的不同副本存储在不同的OSD上;在同一对象的副本中选定一个为主副本,其余作为从副本,所有修改操作均发给主副本;主副本将修改操作写入内存,然后将修改操作转发给从副本;从副本接收到修改操作后,应答主副本;主副本受到应答后,应答客户端;主副本控制主从的磁盘操作。本发明通过主副本和从副本之间的确认信号的交换,使得每次对元数据的修改,都能使得主从副本之间保持一致,保证了副本间的一致性。
-
公开(公告)号:CN104156474B
公开(公告)日:2017-06-23
申请号:CN201410422309.X
申请日:2014-08-25
Applicant: 曙光信息产业股份有限公司 , 无锡城市云计算中心有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种分布式文件系统中文件的快速删除方法,当删除分布式文件系统中的文件时,先在元数据服务器上将对应的元数据信息加入到回收目录下,然后返回删除成功,元数据服务器定时扫描回收目录,将其中文件对应的数据对象重命名为新的对象名,该对象名为系统中下一批待分配给新文件的文件对象,这样在有新文件数据写入时,可以直接使用刚回收文件重命名的对象,在读取文件时,按元数据中记录的文件大小判断有效数据的大小,从而达到不真正删除磁盘对象,且不影响正常读写,而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象,真正做到了文件的快速删除,且不产生磁盘数据IO,从而不影响正常数据的读写IO。
-
公开(公告)号:CN103793475A
公开(公告)日:2014-05-14
申请号:CN201410005142.7
申请日:2014-01-06
Applicant: 无锡城市云计算中心有限公司
CPC classification number: G06F17/30221 , G06F17/30194
Abstract: 本发明公开了一种分布式文件系统数据迁移的方法,该方法包括:数据迁移时,迁移的源文件选择为经常修改或写入的文件,对于正在迁移的文件,将对其修改或新写入的数据直接写入到待迁移的目的节点上,在原有数据上建立新数据的索引,而未修改的数据再迁移。本发明相对于传统的冷数据迁移可以大大减少负载均衡的时间,并且节省大量的网络io和磁盘io,达到各节点数据负载的快速均衡。
-
公开(公告)号:CN102404386A
公开(公告)日:2012-04-04
申请号:CN201110326367.9
申请日:2012-01-09
Applicant: 无锡城市云计算中心有限公司
Abstract: 本发明提供了一种保证分布式文件系统元数据服务器组的服务高可靠的方法,启动高可靠服务进程,对其初始化,并读取高可靠服务进程的配置属性表;高可靠服务进程启动服务进程,并周期性检查服务进程的状态;服务进程启动网络模块获得网络状态和服务状态,并由心跳线程以设定速率给高可靠服务进程报告自身运行状态以及网络状态;高可靠服务进程与其他服务器组的高可靠服务进程互相通信告知状态;如果服务进程状态异常,则心跳线程停止发送信息,其他服务器组高可靠服务进程无法接收到心跳线程信息后,高可靠服务进程重启服务进程。本发明通过不同服务器之间能够规避系统错误,提供不间断的正确的服务。
-
-
-
-
-
-
-