-
公开(公告)号:CN106951179B
公开(公告)日:2020-03-27
申请号:CN201610008535.2
申请日:2016-01-07
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本申请实施例公开了一种数据迁移方法及装置,涉及计算机应用技术领域,应用于数据存储系统中的计算设备,其中,所述数据存储系统包括:计算设备和多个存储设备,所述方法包括:接收客户端发送的数据查询请求;根据所述数据查询请求向所述存储设备发送数据获得请求;接收所述存储设备根据所述数据获得请求反馈的结果数据,并向所述客户端转发所述结果数据;根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据;根据所获得的热点数据向所述存储设备发送数据迁移指令,以使得所述存储设备根据所述数据迁移指令进行数据迁移。应用本申请实施例提供的方案进行数据迁移,有效提高了数据的访问速度。
-
公开(公告)号:CN107301177B
公开(公告)日:2020-02-18
申请号:CN201610230618.6
申请日:2016-04-14
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/16 , G06F16/907
Abstract: 本发明实施例公开了一种文件存储方法及装置,该方法包括:接收针对待存储文件的存储请求,获得待存储文件的第一文件标识和待存储文件的数据量,并确定用于存储待存储文件的目标键,根据目标键,获得待存储文件按照预设的存储格式存储时的待存储元数据,按照预设的存储格式,将第一文件标识、数据量和待存储文件存储至目标键的值中,并将待存储元数据存储至预设的元数据库中。应用本发明实施例,有效地保证了元数据的恢复,进而避免了文件的损失。
-
公开(公告)号:CN106713940B
公开(公告)日:2019-12-20
申请号:CN201510471364.2
申请日:2015-08-04
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H04N21/231 , H04N21/433 , H04N21/432 , H04N21/2312
Abstract: 本发明公开了一种视频流的存储方法、读取方法及装置。其中,该方法包括:将获取到的视频流分离为I帧数据以及与所述I帧数据对应的非I帧数据,其中,所述非I帧数据包含所述视频流中除所述I帧数据以外的数据;获取由数据存储服务器为所述非I帧数据分配的存储地址,并将所述非I帧数据存储至所述存储地址所指向的所述数据存储服务器的存储空间中;将所述存储地址添加至所述I帧数据中;将包含有所述存储地址的所述I帧数据存储至所述数据存储服务器。本发明解决了由于现有技术在存储视频流时是按照视频流发来的顺序依次逐帧进行存储造成的视频流存储效率较低的技术问题。
-
公开(公告)号:CN107026876B
公开(公告)日:2019-07-19
申请号:CN201610064601.8
申请日:2016-01-29
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供一种文件数据访问系统及方法,该方法包括:管理服务器根据接收的第一访问请求从多个网关服务器中确定目标网关服务器;目标网关服务器在收到管理服务器发送的第二访问请求后,向元数据服务器发送元数据信息获得请求;目标网关服务器接收元数据服务器查找到的待访问文件数据的元数据信息;存储服务器在收到目标网关服务器发送的第三访问请求后,根据元数据信息访问待访问文件数据;目标网关服务器接收存储服务器发送的访问结果并向管理服务器反馈访问结果;管理服务器将访问结果发送至客户端。应用本发明实施例访问文件数据,用户仅需通过客户端发送针对待访问文件数据的第一访问请求即可获得访问结果,无需进行二次开发。
-
公开(公告)号:CN109947842A
公开(公告)日:2019-06-28
申请号:CN201710626270.7
申请日:2017-07-27
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 一种分布式存储系统中的数据存储方法、装置及系统,属于计算机应用技术领域。方法包括:接收数据存储请求,数据存储请求中携带第一数据的对象信息;根据第一数据的对象信息和已存储数据的对象信息,检测第一数据是否为对已存储数据进行修改的数据;在检测出第一数据是对已存储的第二数据进行修改的数据时,获取第二数据对应的条带信息;若确定出第二数据所属的数据块的数量为n,则确定第一数据被划分为n个目标数据块,并分配未使用的条带标识给n个目标数据块;为n个目标数据块分配存储节点;发送数据存储响应。本发明实施例避免了修改存储数据时对不必要数据的读取,减少了分布式存储中大量的读数据操作,节省了处理开销。
-
公开(公告)号:CN109213420A
公开(公告)日:2019-01-15
申请号:CN201710515890.3
申请日:2017-06-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本发明公开了一种数据存储方法、装置及系统,属于计算机技术领域。本方法应用于存储系统的第一存储设备中,该第一存储设备中包括多个固态硬盘,该第一存储设备接收客户端发送的数据,并对该数据进行虚拟化条带处理,得到多个条带数据,该客户端发送的数据为该客户端中写入的原始数据;该第一存储设备通过EC算法对该多个条带数据进行编码处理,得到EC条带数据,该EC条带数据包括多个条带数据和校验数据,该校验数据用于对该多个条带数据进行校验;该第一存储设备将该EC条带数据包括的多个条带数据和校验数据分别缓存至多个固态硬盘中。如此,当数据丢失时可以通过EC算法对EC条带数据进行恢复,从而保证了数据存储的完整性。
-
公开(公告)号:CN109002253A
公开(公告)日:2018-12-14
申请号:CN201710419968.1
申请日:2017-06-06
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请实施例提供了一种损坏条带的处理方法及装置,方法包括:元数据服务器将损坏条带的条带信息发送给存储服务器,损坏条带的条带信息包括正常块的标识和异常块的标识,异常块的标识对应的数据块为坏块;存储服务器将异常块的标识对应的数据块中存储的数据置为预设数据,对正常块的标识对应的数据块和异常块的标识对应的数据块重新进行EC计算,获得预设个数目标校验块的校验数据,预设个数为一条带中包括的校验块的个数,根据正常块的标识和异常块的标识对应的数据块以及目标校验块,构建与损坏条带的标识相同的新正常条带。应用本申请实施例,使得损坏条带对应的正常数据块再损坏时,该再损坏的正常数据块中存储的流式数据能够被修复和读取。
-
公开(公告)号:CN107026876A
公开(公告)日:2017-08-08
申请号:CN201610064601.8
申请日:2016-01-29
Applicant: 杭州海康威视数字技术股份有限公司
CPC classification number: H04L67/1002 , H04L63/101 , H04L63/102
Abstract: 本发明实施例提供一种文件数据访问系统及方法,该方法包括:管理服务器根据接收的第一访问请求从多个网关服务器中确定目标网关服务器;目标网关服务器在收到管理服务器发送的第二访问请求后,向元数据服务器发送元数据信息获得请求;目标网关服务器接收元数据服务器查找到的待访问文件数据的元数据信息;存储服务器在收到目标网关服务器发送的第三访问请求后,根据元数据信息访问待访问文件数据;目标网关服务器接收存储服务器发送的访问结果并向管理服务器反馈访问结果;管理服务器将访问结果发送至客户端。应用本发明实施例访问文件数据,用户仅需通过客户端发送针对待访问文件数据的第一访问请求即可获得访问结果,无需进行二次开发。
-
公开(公告)号:CN106951179A
公开(公告)日:2017-07-14
申请号:CN201610008535.2
申请日:2016-01-07
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F3/06
Abstract: 本申请实施例公开了一种数据迁移方法及装置,涉及计算机应用技术领域,应用于数据存储系统中的计算设备,其中,所述数据存储系统包括:计算设备和多个存储设备,所述方法包括:接收客户端发送的数据查询请求;根据所述数据查询请求向所述存储设备发送数据获得请求;接收所述存储设备根据所述数据获得请求反馈的结果数据,并向所述客户端转发所述结果数据;根据预设的数据分析算法,对所述结果数据进行分析,从所述结果数据中获得热点数据;根据所获得的热点数据向所述存储设备发送数据迁移指令,以使得所述存储设备根据所述数据迁移指令进行数据迁移。应用本申请实施例提供的方案进行数据迁移,有效提高了数据的访问速度。
-
公开(公告)号:CN116775588A
公开(公告)日:2023-09-19
申请号:CN202310793835.6
申请日:2023-06-30
Applicant: 厦门大学 , 杭州海康威视数字技术股份有限公司
IPC: G06F16/174 , G06F16/14
Abstract: 本发明公开了一种基于子文件的数据重删方法、装置及可读介质,获取输入文件,判断输入文件为Office文件或Pdf文件;响应于确定输入文件为Office文件,循环解析Office文件中的局部文件数据,对局部文件数据计算指纹信息,并存入recipe,直至检测到中央目录记录;响应于确定输入文件为Pdf文件,对Pdf文件解析得到stream数据,对stream数据计算指纹信息,并存入recipe;将Office文件中的局部文件数据以及Pdf文件中的stream数据定义为数据块,查询数据块对应的指纹信息是否存在于持久化存储介质的元数据保存结构体数组中,得到查询结果,根据查询结果进行重删,可有效提高重删效率。
-
-
-
-
-
-
-
-
-