一种数据存储、重构方法和装置、及电子设备

    公开(公告)号:CN109144766B

    公开(公告)日:2023-05-02

    申请号:CN201710512246.0

    申请日:2017-06-28

    Abstract: 本发明实施例提供了一种数据存储、重构方法和装置、及电子设备,所述数据存储方法包括:当接收到针对目标数据的存储指令时,基于预设的第一比例,确定所述目标数据所对应的纠删码策略,其中,所述纠删码策略包括第一纠删码策略和/或第二纠删码策略,所述第一纠删码策略的安全级别高于所述第二纠删码策略,所述第一比例为:第一纠删码策略的使用次数占纠删码策略使用总次数的比例;基于所确定的纠删码策略,对所述目标数据进行切片和冗余处理,得到所述目标数据对应的多个数据片段;将所述多个数据片段分别存储于不同存储设备的存储对象中。应用本发明实施例,可以有效地提高重构效率。

    一种基于云存储的数据检测方法及装置

    公开(公告)号:CN108509143B

    公开(公告)日:2020-11-06

    申请号:CN201710100791.9

    申请日:2017-02-23

    Abstract: 本发明实施例提供了一种基于云存储的数据检测方法及装置,该方法包括:获得管理节点对应待检测存储节点存储的第一最新日志信息的特征信息,管理节点中存储有至少一个存储节点对应的日志信息,日志信息为每一存储节点执行每次数据写操作时生成并存储的信息;获得待检测存储节点存储的第二最新日志信息的特征信息;对比第一最新日志信息的特征信息与第二最新日志信息的特征信息;当对比结果表征第一最新日志信息比第二最新日志信息新时,确定待检测存储节点存储的数据中包含异常数据。以实现云存储系统中对出现异常的数据的检测。

    存储空间回收方法及装置

    公开(公告)号:CN107229414B

    公开(公告)日:2020-01-17

    申请号:CN201610175965.3

    申请日:2016-03-24

    Abstract: 本发明实施例提供了存储空间回收方法及装置。其中,该方法包括:在满足预定空间回收条件时,确定具有待回收标识的目标数据块,待回收标识为:对具有满块标识且空间利用率低于预定利用率阈值的数据块所设置的标识;生成占用段链表和空闲段链表,空闲段链表包括:具有删除标识的数据段所对应的段标识,占用段链表包括:满足预定占用条件的数据段所对应的段标识,预定占用条件为:未具有删除标识且段起始偏移大于空闲段链表所涵盖数据段的段起始偏移中的最小值;基于空闲段链表和占用段链表,对目标数据块执行块内数据迁移;将块内数据迁移完毕的目标数据块更新为空间回收完成的数据块。通过方案,可以降低数据的移动量较大且提高存储资源利用率。

    一种磁盘数据读写方法及装置

    公开(公告)号:CN108062200B

    公开(公告)日:2019-12-20

    申请号:CN201610979543.1

    申请日:2016-11-08

    Abstract: 本发明实施例公开了一种磁盘数据读写方法及装置,磁盘包括:存储元数据的主元数据块、备份元数据的备元数据块和至少一个对象块组,每一对象块组包括:存储对象数据的数据块和存储对象数据的索引的索引块;所述主元数据块位于所述磁盘的头部;所述备元数据块位于所述磁盘的尾部;所述至少一个对象块组位于所述主元数据块和所述备元数据块之间;在读写对象数据时,可以分别操作索引块中的索引、主元数据块中的元数据、以及备元数据块中的备份元数据。应用本发明实施例,增加了磁盘的使用寿命和安全性。

    一种基于云存储的数据检测方法及装置

    公开(公告)号:CN108509143A

    公开(公告)日:2018-09-07

    申请号:CN201710100791.9

    申请日:2017-02-23

    Abstract: 本发明实施例提供了一种基于云存储的数据检测方法及装置,该方法包括:获得管理节点对应待检测存储节点存储的第一最新日志信息的特征信息,管理节点中存储有至少一个存储节点对应的日志信息,日志信息为每一存储节点执行每次数据写操作时生成并存储的信息;获得待检测存储节点存储的第二最新日志信息的特征信息;对比第一最新日志信息的特征信息与第二最新日志信息的特征信息;当对比结果表征第一最新日志信息比第二最新日志信息新时,确定待检测存储节点存储的数据中包含异常数据。以实现云存储系统中对出现异常的数据的检测。

    一种基于云存储的元数据管理方法及装置

    公开(公告)号:CN108268207A

    公开(公告)日:2018-07-10

    申请号:CN201611257923.0

    申请日:2016-12-30

    Abstract: 本发明实施例提供了一种基于云存储的元数据管理方法及装置,该元数据管理方法包括:第一存储节点在确定第一存储介质接入后,获取第一存储介质的第一存储介质标识;根据第一存储介质标识,查询第一存储节点本地是否存储有第一存储介质对应的第一元数据;当查询结果为是时,通知管理节点将第一存储介质的状态设置为接入状态,以通过第一元数据查询第一存储介质中所存储的数据。应用本发明实施例以实现减少对接入的存储介质的元数据的获取操作,提高存储介质的元数据的存储效率。

    一种数据存储、重构方法和装置、及电子设备

    公开(公告)号:CN109144766A

    公开(公告)日:2019-01-04

    申请号:CN201710512246.0

    申请日:2017-06-28

    CPC classification number: G06F11/1056 G06F11/1048 G06F11/1076

    Abstract: 本发明实施例提供了一种数据存储、重构方法和装置、及电子设备,所述数据存储方法包括:当接收到针对目标数据的存储指令时,基于预设的第一比例,确定所述目标数据所对应的纠删码策略,其中,所述纠删码策略包括第一纠删码策略和/或第二纠删码策略,所述第一纠删码策略的安全级别高于所述第二纠删码策略,所述第一比例为:第一纠删码策略的使用次数占纠删码策略使用总次数的比例;基于所确定的纠删码策略,对所述目标数据进行切片和冗余处理,得到所述目标数据对应的多个数据片段;将所述多个数据片段分别存储于不同存储设备的存储对象中。应用本发明实施例,可以有效地提高重构效率。

    一种基于视频云存储系统的视频定位回放方法及装置

    公开(公告)号:CN108076376A

    公开(公告)日:2018-05-25

    申请号:CN201611030983.9

    申请日:2016-11-17

    Abstract: 本发明实施例公开了一种基于视频云存储系统的视频定位回放方法及装置,应用于客户端,所述方法包括:获得用户输入的定位时间点;确定本次定位回放所对应的目标监控点标识;利用定位时间点和目标监控点标识,从信息表中查找同时满足第一条件和第二条件的第一文件标识;当查找到时,获取与第一文件标识对应的第一视频数据;从所述定位时间点开始播放所述第一视频数据。由于在视频定位回放时客户端可以查找并播放本地缓存的视频数据,不需要每次定位回放都向存储服务器请求视频数据,大大减小了视频定位回放的时延,从而使得视频定位回放的效率明显提高。

    一种云存储系统中动态接入存储设备的方法及装置

    公开(公告)号:CN107124438A

    公开(公告)日:2017-09-01

    申请号:CN201610104338.0

    申请日:2016-02-25

    Abstract: 本发明实施例提供了一种云存储系统中动态接入存储设备的方法及装置,应用于云存储系统中的存储节点,所述方法包括:当检测到连接新的第一存储设备时,识别所述第一存储设备的类型;根据所述第一存储设备的类型,查找与所述第一存储设备的类型对应的第一目标存储设备库;根据所述第一目标存储设备库,读取保存的上线标准接口,以及与所述第一存储设备的类型对应的上线操作方式,其中,所述第一目标存储设备库中保存有上线标准接口,以及针对每种存储设备的类型对应的上线操作方式;根据读取的所述上线标准接口以及所述上线操作方式,将所述第一存储设备接入所述云存储系统。本发明实施例能够实现存储节点中存储设备的动态接入。

    云存储系统中的任务处理方法及装置

    公开(公告)号:CN106959888B

    公开(公告)日:2020-09-04

    申请号:CN201610016185.4

    申请日:2016-01-11

    Abstract: 本发明实施例提供了一种云存储系统中的任务处理方法及装置,应用于对并发任务进行处理的服务器,所述方法包括:当同时接收到两个以上的任务时,确定每个任务操作的磁盘中的块的标识信息;针对每个任务,获取该任务的任务快照,其中,所述任务快照包括该任务操作的磁盘中的每个块的元数据;基于每个任务快照,对每个任务进行处理。本实施例中,当同时接收到两个以上的任务时,为了避免其中一个任务处理结果影响其他任务,可以针对每个任务获取其任务快照,并基于每个任务快照对每个任务进行处理,保证了每个任务都能够完成,并且每个任务操作的数据为该任务操作的磁盘中的块的真实数据,从而能够提高云存储系统处理并发任务的成功率和准确率。

Patent Agency Ranking