-
公开(公告)号:CN120010783A
公开(公告)日:2025-05-16
申请号:CN202510101745.5
申请日:2025-01-22
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于多队列的纠删码条带更新方法、装置和电子设备,该方法包括:获取原始条带中数据块的基本元数据信息;基于所述基本元数据信息,将所述数据块放入不同的预设编码队列,所述不同的预设编码队列包括高频更新编码队列、低频更新编码队列和无更新编码队列;基于不同的预设编码队列中的数据块,分别使用不同的预设生成策略生成条带。该方法可以降低纠删码条带更新对全闪集群中SSD盘的寿命损耗。
-
公开(公告)号:CN119127564A
公开(公告)日:2024-12-13
申请号:CN202411308087.9
申请日:2024-09-19
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F11/10
Abstract: 本申请属于计算机存储技术领域,具体公开了一种低修复带宽的纠删码编码方法及装置。本申请,通过将k个数据块和m个校验块组成一个条带,在使用纠删码编码方式的分布式存储系统中,通过将该条带子条带化,并将部分子条带中的子数据块的校验信息嵌入到其他子条带的子校验块中,从而在一个分布式存储系统中的存储节点失效时,能够通过这些嵌入的校验信息来减少部分子条带的修复带宽。
-
公开(公告)号:CN119088305A
公开(公告)日:2024-12-06
申请号:CN202411197088.0
申请日:2024-08-29
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F3/06
Abstract: 本申请属于计算机存储领域,具体公开了一种空洞整理方法、装置、电子设备和存储介质,该方法包括:对于有空洞的条带组,在第一方案和第二方案中,选择消耗磁盘I/O较少的方案,对空洞区域进行整理;其中,所述第一方案为当新数据请求到达时,将新数据写入空洞区域;所述第二方案为将条带组中每个逻辑块内的有效数据整理到条带组中的连续数据空间进行存储,当新数据请求到达时,将新数据顺序写入所述连续数据空间以外的空洞区域,通过该方法可以减少数据的迁移引起的磁盘I/O操作,从而提高系统性能和可靠性。
-
公开(公告)号:CN120011131A
公开(公告)日:2025-05-16
申请号:CN202510117829.8
申请日:2025-01-24
Applicant: 杭州海康威视数字技术股份有限公司 , 华中科技大学
IPC: G06F11/10
Abstract: 本申请属于计算机存储技术领域,具体公开了一种基于子块化的低内存编码方法及装置,方法包括:将包含#imgabs0#个数据块和#imgabs1#个校验块的条带均分成#imgabs2#个子条带,每个子条带包括#imgabs3#个子数据块和#imgabs4#个子校验块,#imgabs5#;根据数据块数量和校验块数量构建编码矩阵,利用计算单元按照所述编码矩阵以子块为单位分段计算原始数据子块的校验编码;重复计算每个原始数据子块的校验编码,直至完成所有原始数据子块的校验信息的计算,得到最终计算结果。通过本申请能够减少编码过程中的峰值内存,缩短编码时间。
-
公开(公告)号:CN118612437A
公开(公告)日:2024-09-06
申请号:CN202410685525.7
申请日:2024-05-30
Applicant: 厦门大学 , 杭州海康威视数字技术股份有限公司
IPC: H04N19/122 , H04N19/126 , H04N19/132 , H04N19/14 , H04N19/70
Abstract: 本发明公开了一种JPG图片有损压缩方法和装置,包括:获取待压缩的JPG图片并读取待压缩的JPG图片的RGB数据;将待压缩的JPG图片输入目标检测模型,得到目标检测结果,根据目标检测结果对待压缩的JPG图片中的每个像素赋予对应的权重,得到权重矩阵;对RGB数据进行处理,得到DCT变换后的数据;采用权重矩阵对DCT变换后的数据进行加权量化,得到量化后的数据;将量化后的数据进行标准编码,得到压缩后的JPG图片。本发明能够结合待压缩的JPG图片的内容,在不改变JPG图片存储格式,保持JPG图片中关键的目标区域清晰的基础上,尽可能压缩图片的大小。
-
公开(公告)号:CN118567562A
公开(公告)日:2024-08-30
申请号:CN202410699704.6
申请日:2024-05-31
Applicant: 杭州海康威视数字技术股份有限公司 , 厦门大学
IPC: G06F3/06
Abstract: 本发明公开了一种基于学习索引的数据重删方法和系统,包括:若数据块请求为写请求,则将数据块写入内存缓存并计算指纹值,将指纹值和逻辑页地址写入LPA‑FP索引表;若内存缓存中的所有数据块的数量达到阈值,则为内存缓存中的所有数据块分配对应的物理页地址,并生成若干个FP‑PPA映射,根据若干个FP‑PPA映射通过分段线性回归计算得到FP‑PPA表达式,将FP‑PPA表达式写入内存缓存和闪存,并将内存缓存中的所有数据块写入闪存,将数据块及其相邻数据块的指纹值保存在带外数据区域;若数据块请求为读请求,则根据逻辑页地址在LPA‑FP索引表中查找指纹值,根据指纹值和FP‑PPA表达式计算出物理页地址并在闪存中查询所要读取的数据块,以减少内存缓存的空间并加快物理页地址的查找速度。
-
公开(公告)号:CN116775588A
公开(公告)日:2023-09-19
申请号:CN202310793835.6
申请日:2023-06-30
Applicant: 厦门大学 , 杭州海康威视数字技术股份有限公司
IPC: G06F16/174 , G06F16/14
Abstract: 本发明公开了一种基于子文件的数据重删方法、装置及可读介质,获取输入文件,判断输入文件为Office文件或Pdf文件;响应于确定输入文件为Office文件,循环解析Office文件中的局部文件数据,对局部文件数据计算指纹信息,并存入recipe,直至检测到中央目录记录;响应于确定输入文件为Pdf文件,对Pdf文件解析得到stream数据,对stream数据计算指纹信息,并存入recipe;将Office文件中的局部文件数据以及Pdf文件中的stream数据定义为数据块,查询数据块对应的指纹信息是否存在于持久化存储介质的元数据保存结构体数组中,得到查询结果,根据查询结果进行重删,可有效提高重删效率。
-
公开(公告)号:CN116820343A
公开(公告)日:2023-09-29
申请号:CN202310801832.2
申请日:2023-06-30
Applicant: 杭州海康威视数字技术股份有限公司 , 厦门大学
IPC: G06F3/06 , G06F16/2453 , G06F16/22 , G06F16/215
Abstract: 本发明公开了一种基于变长指纹的数据重删方法、装置及可读介质,对输入文件进行分块,根据数据块的长度采用不同的哈希算法计算数据块对应的指纹;响应于在LRU缓存中查询不到该指纹,则根据该指纹所对应的哈希算法在不同的持久化存储介质中查询;响应于在持久化存储介质中查询到该指纹,将该指纹和元数据存入LRU缓存中,并利用局部性原理将包含该指纹的输入文件中同属于同一持久化存储介质的指纹全部存入LRU缓存中;响应于在持久化存储介质中查询不到该指纹,则构建该指纹的元数据并存储在对应的持久化存储介质,并将该指纹对应的数据块存储在开放容器中,在持久化存储介质中采用对应格式的指纹存储文件对元数据进行分类存储,加快查找。
-
公开(公告)号:CN106385023B
公开(公告)日:2019-01-04
申请号:CN201610845736.8
申请日:2016-09-23
Applicant: 国家电网公司华中分部 , 华中科技大学
IPC: H02J3/00
Abstract: 本发明公开了一种基于支路势能函数的电网失步解列方法,通过设置预想故障进行离线仿真,确定电网解列断面;根据电网解列断面生成解列表;通过监测获取各支路的实时输送功率以及线路支路两端母线电压相角;根据各支路的实时输送功率和线路支路两端母线电压相角获取支路势能函数;并根据支路势能函数以及各支路的实时输送功率计算获取支路的实时解列指标;根据各支路的实时解列指标在线判定支路是否达到解列临界值;根据解列表确定达到解列临界值的支路的解列指令;本发明提供的失步解列方法通过区域解列控制中心与省级解列控制中心配合,使解列装置之间的信息得以共享,在严重故障下电网失步时各解列断面能够快速、可靠解列,隔离故障,以保障电网安全。
-
公开(公告)号:CN106385023A
公开(公告)日:2017-02-08
申请号:CN201610845736.8
申请日:2016-09-23
Applicant: 国家电网公司华中分部 , 华中科技大学
IPC: H02J3/00
CPC classification number: H02J3/00 , H02J2003/007
Abstract: 本发明公开了一种基于支路势能函数的电网失步解列方法,通过设置预想故障进行离线仿真,确定电网解列断面;根据电网解列断面生成解列表;通过监测获取各支路的实时输送功率以及线路支路两端母线电压相角;根据各支路的实时输送功率和线路支路两端母线电压相角获取支路势能函数;并根据支路势能函数以及各支路的实时输送功率计算获取支路的实时解列指标;根据各支路的实时解列指标在线判定支路是否达到解列临界值;根据解列表确定达到解列临界值的支路的解列指令;本发明提供的失步解列方法通过区域解列控制中心与省级解列控制中心配合,使解列装置之间的信息得以共享,在严重故障下电网失步时各解列断面能够快速、可靠解列,隔离故障,以保障电网安全。
-
-
-
-
-
-
-
-
-