-
公开(公告)号:CN119088305A
公开(公告)日:2024-12-06
申请号:CN202411197088.0
申请日:2024-08-29
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机存储领域,具体公开了一种空洞整理方法、装置、电子设备和存储介质,该方法包括:对于有空洞的条带组,在第一方案和第二方案中,选择消耗磁盘I/O较少的方案,对空洞区域进行整理;其中,所述第一方案为当新数据请求到达时,将新数据写入空洞区域;所述第二方案为将条带组中每个逻辑块内的有效数据整理到条带组中的连续数据空间进行存储,当新数据请求到达时,将新数据顺序写入所述连续数据空间以外的空洞区域,通过该方法可以减少数据的迁移引起的磁盘I/O操作,从而提高系统性能和可靠性。
-
公开(公告)号:CN118567562A
公开(公告)日:2024-08-30
申请号:CN202410699704.6
申请日:2024-05-31
Applicant: 杭州海康威视数字技术股份有限公司 , 厦门大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于学习索引的数据重删方法和系统,包括:若数据块请求为写请求,则将数据块写入内存缓存并计算指纹值,将指纹值和逻辑页地址写入LPA‑FP索引表;若内存缓存中的所有数据块的数量达到阈值,则为内存缓存中的所有数据块分配对应的物理页地址,并生成若干个FP‑PPA映射,根据若干个FP‑PPA映射通过分段线性回归计算得到FP‑PPA表达式,将FP‑PPA表达式写入内存缓存和闪存,并将内存缓存中的所有数据块写入闪存,将数据块及其相邻数据块的指纹值保存在带外数据区域;若数据块请求为读请求,则根据逻辑页地址在LPA‑FP索引表中查找指纹值,根据指纹值和FP‑PPA表达式计算出物理页地址并在闪存中查询所要读取的数据块,以减少内存缓存的空间并加快物理页地址的查找速度。
-
公开(公告)号:CN109144766B
公开(公告)日:2023-05-02
申请号:CN201710512246.0
申请日:2017-06-28
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F11/10
Abstract: 本发明实施例提供了一种数据存储、重构方法和装置、及电子设备,所述数据存储方法包括:当接收到针对目标数据的存储指令时,基于预设的第一比例,确定所述目标数据所对应的纠删码策略,其中,所述纠删码策略包括第一纠删码策略和/或第二纠删码策略,所述第一纠删码策略的安全级别高于所述第二纠删码策略,所述第一比例为:第一纠删码策略的使用次数占纠删码策略使用总次数的比例;基于所确定的纠删码策略,对所述目标数据进行切片和冗余处理,得到所述目标数据对应的多个数据片段;将所述多个数据片段分别存储于不同存储设备的存储对象中。应用本发明实施例,可以有效地提高重构效率。
-
公开(公告)号:CN107491265B
公开(公告)日:2021-05-25
申请号:CN201610411513.0
申请日:2016-06-12
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本发明公开了一种分配网际协议IP磁盘的方法及装置。其中,该方法包括:接收客户端发送的数据读写请求;计算当前选中的IP磁盘执行最近N次数据读写操作所消耗的平均时间,其中,N为正整数;判断平均时间是否小于基准时间,其中,基准时间为预设磁盘执行数据读写操作所消耗的时间;在判断出平均时间小于基准时间的情况下,将数据读写请求分配给当前选中的IP磁盘。本发明解决了相关技术中IP磁盘由于处理能力有限,无法给管理服务器提供实时信息,因而无法制定出合理的负载均衡策略,最终导致管理服务器的负载均衡效果不佳的技术问题。
-
公开(公告)号:CN109120885B
公开(公告)日:2021-01-05
申请号:CN201710495206.X
申请日:2017-06-26
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/71 , H04N7/18 , H04N21/231 , H04N5/93 , H04N21/845
Abstract: 本发明公开了一种视频数据获取方法、装置及系统,应用于云存储系统中,所述方法包括:接收终端发送的第一获取请求,所述第一获取请求包括目标时间段;从分布式存储的至少两个索引数据块中,查询出所述目标时间段对应的视频数据的索引数据,所述索引数据存储有所述视频数据中的至少一个视频帧的索引;向所述终端发送所述索引数据;接收所述终端发送的第二获取请求,所述第二获取请求包括所述索引数据;从分布式存储的至少两个视频数据块中,查询出与所述索引数据对应的视频数据;向所述终端发送所述视频数据。
-
公开(公告)号:CN107656695B
公开(公告)日:2020-12-25
申请号:CN201610586825.5
申请日:2016-07-25
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本发明提供了一种数据存储、删除方法、装置及分布式存储系统,该方法中,接收待存储的目标数据及对应的网络地址信息,生成目标数据对应的标识信息及标识信息与网络地址信息的第一对应关系,将目标数据及标识信息发送给网络地址信息对应的存储服务器,使其存储目标数据,将标识信息与保存位置信息的第二对应关系发送给网关服务器;如果在预设时间段内未接收到第二对应关系,将第一对应关系作为数据存储信息发送至元数据服务器。本发明中,通过在未接收到第二对应关系时,将第一对应关系作为数据存储信息发送至元数据服务器的方式,使元数据服务器确定目标数据在存储服务器中的保存位置信息未被传输。
-
公开(公告)号:CN108509143B
公开(公告)日:2020-11-06
申请号:CN201710100791.9
申请日:2017-02-23
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了一种基于云存储的数据检测方法及装置,该方法包括:获得管理节点对应待检测存储节点存储的第一最新日志信息的特征信息,管理节点中存储有至少一个存储节点对应的日志信息,日志信息为每一存储节点执行每次数据写操作时生成并存储的信息;获得待检测存储节点存储的第二最新日志信息的特征信息;对比第一最新日志信息的特征信息与第二最新日志信息的特征信息;当对比结果表征第一最新日志信息比第二最新日志信息新时,确定待检测存储节点存储的数据中包含异常数据。以实现云存储系统中对出现异常的数据的检测。
-
公开(公告)号:CN107888636B
公开(公告)日:2020-01-17
申请号:CN201610872653.8
申请日:2016-09-30
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明公开了一种基于云存储的数据处理方法及系统。其中,该方法包括:互联云装置接收客户端通过工作云装置发送的数据查询请求,其中,数据查询请求用于请求查询已经存储在云域中的媒体数据,工作云装置为IP摄像机的默认存储云域;互联云装置根据数据查询请求查询是否在备份云装置中存储IP摄像机采集的媒体数据;若互联云装置根据数据查询请求查询到在备份云装置中存储IP摄像机的媒体数据,则向工作云装置推送媒体数据的地址,其中,媒体数据的地址用于指示客户端向备份云装置请求查询媒体数据。本发明解决了相关技术中多云域间数据存储灵活性较差的技术问题。
-
公开(公告)号:CN107229414B
公开(公告)日:2020-01-17
申请号:CN201610175965.3
申请日:2016-03-24
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本发明实施例提供了存储空间回收方法及装置。其中,该方法包括:在满足预定空间回收条件时,确定具有待回收标识的目标数据块,待回收标识为:对具有满块标识且空间利用率低于预定利用率阈值的数据块所设置的标识;生成占用段链表和空闲段链表,空闲段链表包括:具有删除标识的数据段所对应的段标识,占用段链表包括:满足预定占用条件的数据段所对应的段标识,预定占用条件为:未具有删除标识且段起始偏移大于空闲段链表所涵盖数据段的段起始偏移中的最小值;基于空闲段链表和占用段链表,对目标数据块执行块内数据迁移;将块内数据迁移完毕的目标数据块更新为空间回收完成的数据块。通过方案,可以降低数据的移动量较大且提高存储资源利用率。
-
公开(公告)号:CN108062200B
公开(公告)日:2019-12-20
申请号:CN201610979543.1
申请日:2016-11-08
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本发明实施例公开了一种磁盘数据读写方法及装置,磁盘包括:存储元数据的主元数据块、备份元数据的备元数据块和至少一个对象块组,每一对象块组包括:存储对象数据的数据块和存储对象数据的索引的索引块;所述主元数据块位于所述磁盘的头部;所述备元数据块位于所述磁盘的尾部;所述至少一个对象块组位于所述主元数据块和所述备元数据块之间;在读写对象数据时,可以分别操作索引块中的索引、主元数据块中的元数据、以及备元数据块中的备份元数据。应用本发明实施例,增加了磁盘的使用寿命和安全性。
-
-
-
-
-
-
-
-
-