-
公开(公告)号:CN109144766B
公开(公告)日:2023-05-02
申请号:CN201710512246.0
申请日:2017-06-28
申请人: 杭州海康威视数字技术股份有限公司
IPC分类号: G06F11/10
摘要: 本发明实施例提供了一种数据存储、重构方法和装置、及电子设备,所述数据存储方法包括:当接收到针对目标数据的存储指令时,基于预设的第一比例,确定所述目标数据所对应的纠删码策略,其中,所述纠删码策略包括第一纠删码策略和/或第二纠删码策略,所述第一纠删码策略的安全级别高于所述第二纠删码策略,所述第一比例为:第一纠删码策略的使用次数占纠删码策略使用总次数的比例;基于所确定的纠删码策略,对所述目标数据进行切片和冗余处理,得到所述目标数据对应的多个数据片段;将所述多个数据片段分别存储于不同存储设备的存储对象中。应用本发明实施例,可以有效地提高重构效率。
-
公开(公告)号:CN108509143B
公开(公告)日:2020-11-06
申请号:CN201710100791.9
申请日:2017-02-23
申请人: 杭州海康威视数字技术股份有限公司
摘要: 本发明实施例提供了一种基于云存储的数据检测方法及装置,该方法包括:获得管理节点对应待检测存储节点存储的第一最新日志信息的特征信息,管理节点中存储有至少一个存储节点对应的日志信息,日志信息为每一存储节点执行每次数据写操作时生成并存储的信息;获得待检测存储节点存储的第二最新日志信息的特征信息;对比第一最新日志信息的特征信息与第二最新日志信息的特征信息;当对比结果表征第一最新日志信息比第二最新日志信息新时,确定待检测存储节点存储的数据中包含异常数据。以实现云存储系统中对出现异常的数据的检测。
-
公开(公告)号:CN107229414B
公开(公告)日:2020-01-17
申请号:CN201610175965.3
申请日:2016-03-24
申请人: 杭州海康威视数字技术股份有限公司
IPC分类号: G06F3/06
摘要: 本发明实施例提供了存储空间回收方法及装置。其中,该方法包括:在满足预定空间回收条件时,确定具有待回收标识的目标数据块,待回收标识为:对具有满块标识且空间利用率低于预定利用率阈值的数据块所设置的标识;生成占用段链表和空闲段链表,空闲段链表包括:具有删除标识的数据段所对应的段标识,占用段链表包括:满足预定占用条件的数据段所对应的段标识,预定占用条件为:未具有删除标识且段起始偏移大于空闲段链表所涵盖数据段的段起始偏移中的最小值;基于空闲段链表和占用段链表,对目标数据块执行块内数据迁移;将块内数据迁移完毕的目标数据块更新为空间回收完成的数据块。通过方案,可以降低数据的移动量较大且提高存储资源利用率。
-
公开(公告)号:CN108062200B
公开(公告)日:2019-12-20
申请号:CN201610979543.1
申请日:2016-11-08
申请人: 杭州海康威视数字技术股份有限公司
IPC分类号: G06F3/06
摘要: 本发明实施例公开了一种磁盘数据读写方法及装置,磁盘包括:存储元数据的主元数据块、备份元数据的备元数据块和至少一个对象块组,每一对象块组包括:存储对象数据的数据块和存储对象数据的索引的索引块;所述主元数据块位于所述磁盘的头部;所述备元数据块位于所述磁盘的尾部;所述至少一个对象块组位于所述主元数据块和所述备元数据块之间;在读写对象数据时,可以分别操作索引块中的索引、主元数据块中的元数据、以及备元数据块中的备份元数据。应用本发明实施例,增加了磁盘的使用寿命和安全性。
-
公开(公告)号:CN108509143A
公开(公告)日:2018-09-07
申请号:CN201710100791.9
申请日:2017-02-23
申请人: 杭州海康威视数字技术股份有限公司
CPC分类号: G06F3/0619 , G06F3/0653 , G06F3/067 , G06F11/1004 , G06F11/3065 , G06F21/64
摘要: 本发明实施例提供了一种基于云存储的数据检测方法及装置,该方法包括:获得管理节点对应待检测存储节点存储的第一最新日志信息的特征信息,管理节点中存储有至少一个存储节点对应的日志信息,日志信息为每一存储节点执行每次数据写操作时生成并存储的信息;获得待检测存储节点存储的第二最新日志信息的特征信息;对比第一最新日志信息的特征信息与第二最新日志信息的特征信息;当对比结果表征第一最新日志信息比第二最新日志信息新时,确定待检测存储节点存储的数据中包含异常数据。以实现云存储系统中对出现异常的数据的检测。
-
公开(公告)号:CN108268207A
公开(公告)日:2018-07-10
申请号:CN201611257923.0
申请日:2016-12-30
申请人: 杭州海康威视数字技术股份有限公司
IPC分类号: G06F3/06
摘要: 本发明实施例提供了一种基于云存储的元数据管理方法及装置,该元数据管理方法包括:第一存储节点在确定第一存储介质接入后,获取第一存储介质的第一存储介质标识;根据第一存储介质标识,查询第一存储节点本地是否存储有第一存储介质对应的第一元数据;当查询结果为是时,通知管理节点将第一存储介质的状态设置为接入状态,以通过第一元数据查询第一存储介质中所存储的数据。应用本发明实施例以实现减少对接入的存储介质的元数据的获取操作,提高存储介质的元数据的存储效率。
-
公开(公告)号:CN106959888B
公开(公告)日:2020-09-04
申请号:CN201610016185.4
申请日:2016-01-11
申请人: 杭州海康威视数字技术股份有限公司
IPC分类号: G06F9/48
摘要: 本发明实施例提供了一种云存储系统中的任务处理方法及装置,应用于对并发任务进行处理的服务器,所述方法包括:当同时接收到两个以上的任务时,确定每个任务操作的磁盘中的块的标识信息;针对每个任务,获取该任务的任务快照,其中,所述任务快照包括该任务操作的磁盘中的每个块的元数据;基于每个任务快照,对每个任务进行处理。本实施例中,当同时接收到两个以上的任务时,为了避免其中一个任务处理结果影响其他任务,可以针对每个任务获取其任务快照,并基于每个任务快照对每个任务进行处理,保证了每个任务都能够完成,并且每个任务操作的数据为该任务操作的磁盘中的块的真实数据,从而能够提高云存储系统处理并发任务的成功率和准确率。
-
-
公开(公告)号:CN109101508A
公开(公告)日:2018-12-28
申请号:CN201710471483.7
申请日:2017-06-20
申请人: 杭州海康威视数字技术股份有限公司
IPC分类号: G06F17/30
摘要: 本发明实施例提供了一种小文件归档、读取方法及装置、电子设备,小文件归档方法包括:当检测到归档指令时,确定归档指令所指示归档的目标小文件的目标文件属性;判断目标文件池中是否存储有第一目标文件的文件信息,第一目标文件的文件属性与目标文件属性相同;如果存储有,生成第一目标文件对应的、且针对于目标小文件的归档任务信息;当检测到第一目标文件符合归档条件时,确定第一目标文件当前所对应的归档任务信息;根据所确定出的归档任务信息所记录的映射关系,将所确定出的归档任务信息所对应的目标小文件写入第一目标文件。应用本发明实施例,减少了海量小文件归档所需的存储空间,并提高了存储海量小文件的存储效率。
-
公开(公告)号:CN108154042A
公开(公告)日:2018-06-12
申请号:CN201611097134.5
申请日:2016-12-02
申请人: 杭州海康威视数字技术股份有限公司
IPC分类号: G06F21/62
CPC分类号: G06F21/62 , G06F21/6218 , G06F2221/2107
摘要: 本发明实施例提供了一种文件系统加密方法及装置,所述方法包括:在对目标磁盘进行格式化操作时,生成通过所述格式化操作所创建所生成的元数据索引区所对应的第一随机数;其中,所述格式化操作用于在所述目标磁盘上安装目标文件系统;基于所述第一随机数,对所述元数据索引区所存储的数据进行加密,得到第一加密数据;将所述第一加密数据存储在所述元数据索引区。应用本发明实施例,提高了文件系统中所存储的数据的安全性。
-
-
-
-
-
-
-
-
-