一种基于子块化的低内存编码方法及装置

    公开(公告)号:CN120011131A

    公开(公告)日:2025-05-16

    申请号:CN202510117829.8

    申请日:2025-01-24

    Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于子块化的低内存编码方法及装置,方法包括:将包含#imgabs0#个数据块和#imgabs1#个校验块的条带均分成#imgabs2#个子条带,每个子条带包括#imgabs3#个子数据块和#imgabs4#个子校验块,#imgabs5#;根据数据块数量和校验块数量构建编码矩阵,利用计算单元按照所述编码矩阵以子块为单位分段计算原始数据子块的校验编码;重复计算每个原始数据子块的校验编码,直至完成所有原始数据子块的校验信息的计算,得到最终计算结果。通过本申请能够减少编码过程中的峰值内存,缩短编码时间。

    基于子文件的数据重删方法、装置及可读介质

    公开(公告)号:CN116775588A

    公开(公告)日:2023-09-19

    申请号:CN202310793835.6

    申请日:2023-06-30

    Abstract: 本发明公开了一种基于子文件的数据重删方法、装置及可读介质,获取输入文件,判断输入文件为Office文件或Pdf文件;响应于确定输入文件为Office文件,循环解析Office文件中的局部文件数据,对局部文件数据计算指纹信息,并存入recipe,直至检测到中央目录记录;响应于确定输入文件为Pdf文件,对Pdf文件解析得到stream数据,对stream数据计算指纹信息,并存入recipe;将Office文件中的局部文件数据以及Pdf文件中的stream数据定义为数据块,查询数据块对应的指纹信息是否存在于持久化存储介质的元数据保存结构体数组中,得到查询结果,根据查询结果进行重删,可有效提高重删效率。

    数据存储、分散、重构、回收方法、装置及数据处理系统

    公开(公告)号:CN108628539B

    公开(公告)日:2021-03-26

    申请号:CN201710162001.X

    申请日:2017-03-17

    Abstract: 本发明实施例公开了一种数据存储、分散、重构、回收方法、装置及数据处理系统,应用该存储方法,将待存储数据的各个数据片段分别存储至各个存储对象中,存储对象为存储数据的最小单元,各个存储对象中存储的数据片段份数的差值小于第一预设阈值,也就是说,本方案中,较均匀地将各个数据片段存储至多个存储对象中,能够避免一个存储对象出现故障,同一数据的多部分数据片段全部丢失,导致无法对该数据进行数据恢复的情况。

    一种数据校验、存储方法及装置

    公开(公告)号:CN108573172B

    公开(公告)日:2021-03-12

    申请号:CN201710134998.8

    申请日:2017-03-08

    Abstract: 本发明实施例公开了一种数据校验、存储方法及装置,存储对象中对应存储有各个数据段及数据段的第一校验值;当需要获取目标数据时,在存储对象中确定组成目标数据的N个目标数据段;依次读取M个目标数据段及其第一校验值,M小于N;也就是说,每次读取一部分目标数据段,对这一部分目标数据段进行校验,得到各个第二校验值;如果这一部分目标数据段的第一校验值与对应的第二校验值全部相同,继续获取下一部分目标数据段。由此可见,本方案中,将目标数据分段下载及校验,校验速度快、效率高;另外,当某一部分目标数据段的第一校验值与对应的第二校验值不全相同时,不再继续下载校验其他目标数据段,减少了大量无意义的操作。

    文件存储和检索的方法及装置

    公开(公告)号:CN108614837B

    公开(公告)日:2020-10-09

    申请号:CN201611146725.7

    申请日:2016-12-13

    Abstract: 本发明公开了一种文件存储和检索的方法及装置,属于数据存储技术领域。应用于文件存储系统包括的应用服务器中,文件存储系统还包括客户端和分布式存储系统,所述方法包括:当接收到客户端发送的待存储的第一目标文件时,判断第一目标文件是否为小文件,当第一目标文件为小文件时,从本地存储的合并文件中,获取文件大小小于第二预设阈值的合并文件,将第一目标文件写入至所述合并文件中,并判断写入后的合并文件的文件大小是否大于或等于所述第二预设阈值;当写入后的合并文件的文件大小大于或等于第二预设阈值时,将写入后的合并文件存储至分布式存储系统。本发明提高了分布式存储系统的存储性能。

    一种数据存储方法及装置

    公开(公告)号:CN107015884B

    公开(公告)日:2019-12-20

    申请号:CN201610060392.X

    申请日:2016-01-28

    Abstract: 本发明实施例公开了一种数据存储方法及装置,方法包括:存储服务器接收并存储第一存储节点发送的目标数据的实际存储地址和备份数目N;根据备份数目N,确定除第一存储节点以外的其他N个待接收备份数据的存储节点;将所确定的N个存储节点的标识信息发送给第一存储节点;接收所确定的N个存储节点中每个存储节点发送的各自存储备份数据的实际存储地址;根据接收到的第一存储节点发送的目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。当第一存储节点出现故障时,存储服务器根据存储的各个实际存储地址间的关联关系,使用户能够访问其他存储节点中的备份数据。

    监控视频的图像分析方法及其系统

    公开(公告)号:CN107277301B

    公开(公告)日:2019-11-29

    申请号:CN201610214205.9

    申请日:2016-04-06

    Abstract: 本发明涉及视频监控领域,公开了一种监控视频的图像分析方法及其系统。解决了图像质量和计算量之间的技术矛盾。本发明的方法包括以下步骤:获取指定时段内指定摄像头录制的视频片段,和该指定时段内该指定摄像头所在地理位置的气象条件信息;根据气象条件信息,将视频片段分为N小段视频,N为正整数;对于每一个小段视频,判断该小段视频对应的气象条件信息是否满足预定的要求,如果该小段视频对应的气象条件信息满足所述预定的要求,则对该小段视频进行图像分析,如果该小段视频对应的气象条件信息不满足所述预定的要求,则先根据对应的气象条件信息对该小段视频进行图像增强,再对图像增强后的小段视频进行图像分析。

    一种提高数据存储安全性方法及装置

    公开(公告)号:CN109150792A

    公开(公告)日:2019-01-04

    申请号:CN201710452539.4

    申请日:2017-06-15

    Abstract: 本发明实施例提供了一种提高数据存储安全性方法及装置,应用于云存储技术领域,所述方法包括:检测云存储资源池中的用户数据的访问次数,其中,所述云存储资源池中的用户数据使用第一安全级别的纠删编码算法进行编码;确定所述云存储资源池中访问次数超过预设阈值的第一用户数据;根据所述云存储资源池的属性信息,得到第二安全级别,其中,所述属性信息包括:所述第一安全级别和安全性提高步长;根据第二安全级别的纠删编码算法对所述第一用户数据进行重新编码,得到重新编码后的第一用户数据。与现有的数据存储方法相比,本发明实施例提高了云存储资源池中用户数据的安全性。

Patent Agency Ranking