-
公开(公告)号:CN112306974B
公开(公告)日:2024-10-22
申请号:CN201910697041.3
申请日:2019-07-30
Applicant: 深信服科技股份有限公司
IPC: G06F16/174 , G06F16/18
Abstract: 本发明公开了一种数据处理方法,该方法包括以下步骤:在达到对目标数据进行写入的触发条件时,确定当前业务场景;根据业务场景,确定针对目标数据的目标压缩算法;使用目标压缩算法,对目标数据进行压缩处理,获得目标数据对应的待写入数据;将待写入数据写入到目标日志文件中。应用本发明实施例所提供的技术方案,针对不同的业务场景选择不同的压缩算法对要写入的数据进行压缩,对于有的数据可牺牲压缩率以保证压缩性能,对于有的数据可牺牲压缩性能保证压缩率,可以实现压缩率和压缩性能的平衡。本发明还公开了一种数据处理装置、设备及存储介质,具有相应技术效果。
-
公开(公告)号:CN110442474B
公开(公告)日:2023-07-11
申请号:CN201810410346.7
申请日:2018-05-02
Applicant: 深信服科技股份有限公司
Abstract: 本发明公开了数据一致性验证方法、系统、数据验证端及计算机可读存储介质,方法包括获取数据写入端的待验证链表的数据组;依次获取数据组的IO数据,判断当前IO数据的版本号是否正确;若不正确,依次获取当前IO数据的后续预设第一数量IO数据对应的版本号形成单调性判定组;若单调性判定组为第一单调状态,当前IO数据验证通过;若第二单调状态,待验证链表的验证通过,结束待验证链表的验证;若第三单调状态,存在IO数据丢失,执行报错操作;该方法通过对待验证链表的IO数据形成的单调性判定组的单调性进行判定即可判断数据写入端和数据验证端数据当前的数据组的数据是否一致,实现数据写入端和数据验证端失步情况下的一致性验证。
-
公开(公告)号:CN115604291A
公开(公告)日:2023-01-13
申请号:CN202110722988.2
申请日:2021-06-28
Applicant: 深信服科技股份有限公司(CN)
IPC: H04L67/1097 , H04L67/141 , H04L67/5681 , H04L69/16
Abstract: 本申请公开了一种数据传输方法,所述数据传输方法包括:初始化目标节点的数据传输进程,并为所述数据传输进程预注册预设深度的远程直接数据存取RDMA内存;接收针对所述目标节点的数据传输指令;根据所述数据传输指令将目标数据存储至所述RDMA内存;所述目标数据存储至所述RDMA内存后,则将所述RDMA内存中的目标数据传输至数据接收端。本申请还公开了一种数据传输装置、一种电子设备及一种存储介质,具有以上有益效果。
-
公开(公告)号:CN115543601A
公开(公告)日:2022-12-30
申请号:CN202110745042.8
申请日:2021-06-30
Applicant: 深信服科技股份有限公司
Abstract: 本申请公开了一种流量控制方法、装置及一种电子设备和计算机可读存储介质,该方法包括:确定集群的剩余容量比例,并根据剩余容量比例调整集群的垃圾回收流控值、业务流控值和垃圾回收与业务的流控比例;其中,流控比例与剩余容量比例呈负相关;基于集群中节点的业务压力值将业务流控值分配至节点;其中,节点包括存储节点和计算节点,节点分配得到的业务配额与节点的业务压力呈正相关;基于集群中存储节点的业务压力值将垃圾回收流控值分配至存储节点;其中,存储节点分配得到的垃圾回收配额与存储节点的业务压力呈负相关。本申请提供的流量控制方法,实现了业务与垃圾回收的平衡,既不会影响业务性能又不会导致存储空间耗尽。
-
公开(公告)号:CN114760061A
公开(公告)日:2022-07-15
申请号:CN202011612584.X
申请日:2020-12-29
Applicant: 深信服科技股份有限公司
Abstract: 本发明涉及计算机存储技术领域,公开了一种数据上传的方法、装置、设备及存储介质,所述方法包括:从终端设备接收目标文件的上传指令,获取所述目标文件的挑战信息,将所述挑战信息发送至所述终端设备,接收所述终端设备根据所述挑战信息生成的挑战块标签和挑战块的代数和,利用布隆过滤器或布谷鸟过滤器验证所述挑战块标签,所述挑战块标签通过验证后,验证所述挑战块的代数和,根据所述挑战块的代数和的验证结果完成所述目标文件的上传,从而解决计算开销大和由于误判导致的隐私泄露。
-
公开(公告)号:CN114327266A
公开(公告)日:2022-04-12
申请号:CN202111604812.3
申请日:2021-12-24
Applicant: 深信服科技股份有限公司
IPC: G06F3/06
Abstract: 本申请公开了一种存储装置的卡慢识别方法、装置、介质,该方法包括提供的方法包括:获取存储装置的平均IO服务时间,以平均IO服务时间作为判断存储装置是否为卡慢存储装置的依据。由于平均IO服务时间只与存储装置实际处理IO的时间相关,与业务压力无关,能够更准确的体现存储装置存储能力的退化程度,由此可见,采用本申请提供的技术方案识别存储装置是否为卡慢存储装置,平均IO服务时间不会因业务量的大小而影响识别结果,故识别准确率高。
-
公开(公告)号:CN112181919A
公开(公告)日:2021-01-05
申请号:CN201910604989.X
申请日:2019-07-05
Applicant: 深信服科技股份有限公司
IPC: G06F16/174 , G06F3/06
Abstract: 本申请公开了一种压缩方法、系统及一种电子设备和计算机可读存储介质,该方法包括:获取待压缩数据块,并确定所述待压缩数据块的数据大小级别;其中,所述数据大小级别与所述待压缩数据块的数据大小呈负相关;若所述数据大小级别为一级,则确定抽样点数量和抽样区域大小;根据所述抽样点数量和所述抽样区域大小对所述待压缩数据块进行抽样得到抽样数据;计算所述抽样数据的信息熵,当所述信息熵小于信息熵阈值时对所述待压缩数据块进行压缩。由此可见,本申请提供的压缩方法通过识别和避免压缩不可压缩数据,在不显著增加存储开销的条件下,提升压缩吞吐率,降低资源开销。
-
公开(公告)号:CN107291924A
公开(公告)日:2017-10-24
申请号:CN201710515917.9
申请日:2017-06-29
Applicant: 深信服科技股份有限公司
Abstract: 本发明公开了一种用于灾备系统的同步复制日志控制方法和系统,该方法包括:预先设置内存日志的内存数据块ID记录集和磁盘日志的磁盘数据块ID记录集,内存数据块ID记录集和磁盘数据块ID记录集相同,定义所有的磁盘数据块ID记录集均为发生数据修改而需要同步复制的数据块集合;实时获取生产中心和灾备中心的数据修改操作信息,以获得需要同步复制的数据块ID;判断发生修改操作的数据块ID是否属于内存数据块ID记录集;若是,则禁止触发磁盘日志的更新;若否,则将发生修改操作的数据块ID写入内存数据块ID记录集和磁盘数据块ID记录集。挖掘了存储系统数据修改操作的时间和空间局部性,降低了灾备系统的写入延迟,提高了灾备复制性能。
-
公开(公告)号:CN111291126B
公开(公告)日:2023-09-05
申请号:CN202010130357.7
申请日:2020-02-28
Applicant: 深信服科技股份有限公司
IPC: G06F16/27 , G06F16/215
Abstract: 本申请提供了一种数据回收方法、装置、设备及存储介质,所述方法包括:获取引用指纹信息集和全局指纹信息集,所述引用指纹信息集为正在引用的指纹信息,根据所述引用指纹信息集和利用第一随机数初始化的布隆过滤器,对所述全局指纹信息集中的各个全局指纹信息进行验证,根据所述引用指纹信息集和利用第二随机数初始化的布隆过滤器,对验证通过的各个全局指纹信息进行至少一次验证,删除验证不通过的各个全局指纹信息。
-
公开(公告)号:CN115599531A
公开(公告)日:2023-01-13
申请号:CN202110721090.3
申请日:2021-06-28
Applicant: 深信服科技股份有限公司(CN)
IPC: G06F9/50
Abstract: 本申请实施例公开了一种线程负载均衡的方法、装置、设备和介质,接收到文件处理任务,查询文件处理任务关联的各数据分片对应的目标逻辑索引。目标逻辑索引用于指示数据分片所在的磁盘,每个磁盘有其唯一对应的逻辑索引,一个文件的多个数据分片往往分散在各磁盘上存储,可以建立至少一个磁盘的逻辑索引与工作线程的对应关系。在查询到目标逻辑索引之后,依据该对应关系可以确定出各目标逻辑索引对应的目标工作线程,调用目标工作线程对数据分片进行处理即可。文件对应的数据分片分散在不同的磁盘上,每个磁盘都有各自对应的工作线程,使得每个工作线程处理的数据分片个数较为均衡,实现了工作线程的均衡调用。
-
-
-
-
-
-
-
-
-