一种面向云数据分析场景的水平数据分区方法和系统

    公开(公告)号:CN118585585A

    公开(公告)日:2024-09-03

    申请号:CN202410726943.6

    申请日:2024-06-06

    Abstract: 本发明公开了一种面向云数据分析场景的水平数据分区方法,其自适应识别历史查询负载在各属性的热点查询区间、具有局部性的查询模式和离群查询区间,由此对历史查询负载灵活泛化,兼顾未来查询负载与历史查询负载的相似性和差异性;设计了基于概率的成本模型,准确地评估泛化查询负载的开销,并考虑了数据属性间的相关性,以更精确地量化分区动作的收益,从而优化分区决策;设计了基于概率成本模型的两阶段水平分区方法,首先使用轴垂直超平面切割,使得分区方案尽可能细粒度地对齐泛化查询负载,保证数据跳过效率;针对轴垂直超平面切割面对倾斜数据失效的问题,设计了排序二分切割作为补充,增强分区方法鲁棒性的同时,进一步提升数据跳过效率。

    一种联盟链中的CPU-GPU混合验证方法、装置及系统

    公开(公告)号:CN117171807A

    公开(公告)日:2023-12-05

    申请号:CN202311122371.2

    申请日:2023-08-31

    Abstract: 本发明公开了一种联盟链中的CPU‑GPU混合验证方法、装置及系统。验证方法包括:验证节点将完整性验证通过的待验证的区块中需要进行VSCC验证的数字签名信息从CPU中拷贝到GPU中;从GPU全局内存中指定的位置获取所需要的数据,进行数字签名验证,得到VSCC验证结果;在GPU验证的同时,在CPU中依次验证所有交易的读写集的版本号是否合法,对验证不通过的进行记录,得到MVCC验证结果;综合VSCC验证结果和MVCC验证结果得到最终验证结果。解决了验证所耗时间较长,联盟链的交易处理能力不足,从而缓解联盟链的可扩展性的技术问题,实现了加快了区块的验证速度,提高了联盟链系统的吞吐率,提高交易处理能力,提高了联盟链系统的可扩展性的有益效果。

    数据处理方法、系统、存储集群、设备及可读存储介质

    公开(公告)号:CN118466859B

    公开(公告)日:2024-10-11

    申请号:CN202410924980.8

    申请日:2024-07-11

    Abstract: 本发明公开了一种数据处理方法、系统、存储集群、设备及可读存储介质,涉及存储领域,为解决采用多层耦合码修复速度慢的问题,该数据处理方法包括通过多层耦合码将原始数据划分为若干个数据块和校验块,并将各个数据块和各个校验块均划分为若干个子块后进行编码,得到每一子块的原始编码;获取格雷码序列,按格雷码序列及原始编码调整各个子块的排列顺序,按照调整后的排列顺序将各个子块写入对应的存储节点;当满足单块数据修复条件时,通过多层耦合码确定故障块,从存储节点中读取故障块对应的待访问子块,通过待访问子块对故障块进行数据修复。本发明能够将对子块大量的随机访问转换为少量的顺序访问,从而减少修复访问数量,提高修复效率。

    基于跨域冗余中纠删码计算的加解密方法、装置及系统

    公开(公告)号:CN117313120A

    公开(公告)日:2023-12-29

    申请号:CN202311204018.9

    申请日:2023-09-15

    Abstract: 本发明公开了一种基于跨域冗余中纠删码计算的加解密方法、装置及系统,属于计算机存储领域,方法包括:掩码生成机构i利用含有其秘密信息的随机数作为纠删码输入,生成n个预掩码,保留第i个预掩码,将第j个预掩码对应发送至掩码生成机构j,n为掩码生成机构的数量,i,j∈{1,2,…,n}且i≠j;掩码生成机构i将其生成并保留的预掩码与其接收到的来自其它掩码生成机构的预掩码相加,得到其加密掩码,所有掩码生成机构的加密掩码形成一组加密掩码组;同理生成多组加密掩码组,随机选择一组加密掩码组,数据机构和存储机构利用各自保留的且与选择的加密掩码组对应的加密掩码,协同完成数据加解密和存储。降低了跨域纠删码的计算开销。

    一种元数据存储方法、系统、设备及存储介质

    公开(公告)号:CN116774931A

    公开(公告)日:2023-09-19

    申请号:CN202310686114.5

    申请日:2023-06-09

    Inventor: 孙斌 苏楠 刘志勇

    Abstract: 本申请公开了一种元数据存储方法、系统、设备及存储介质,应用于存储技术领域,包括:接收一个批次的元数据请求并为该批次的元数据请求分配线程;基于元数据索引树的路径,确定出各个元数据请求各自指向的叶子节点;进行节点重分配,以使得指向相同叶子节点的各个请求,均由唯一对应的1个线程进行请求的执行;基于该批次的元数据请求,更新元数据索引树;利用进行了节点重分配之后的各个线程执行相应的元数据请求以实现数据读写,并反馈执行结果。应用本申请的方案,可以有效地进行元数据存储,避免了写性能抖动,并且元数据索引树可以采用设计,有利于提高并发性,即提高了系统性能。

    可抗撞库攻击的密码管理方法、系统及介质

    公开(公告)号:CN115459958A

    公开(公告)日:2022-12-09

    申请号:CN202210981851.3

    申请日:2022-08-16

    Abstract: 本发明公开了一种可抗撞库攻击的密码管理方法、系统及介质,属于密码学安全领域,方法包括:向初始数据库中填充随机密码块,并为随机密码块中的每一随机密码生成相应的域名;根据用户主密码以及用户提供的pin码生成打乱密钥,并利用伪随机置换方法,通过打乱密钥打乱随机密码块中各随机密码的位置排布,得到混淆密码块;为混淆密码块创建多个副本并作为诱饵密码块,利用用户主密码对混淆密码块进行加密,利用在密码字典中选取的随机主密码对各诱饵密码块分别进行加密,将加密后的混淆密码块和加密后的诱饵密码块作为最终密码库文件进行存储。针对系统可能遭遇撞库攻击威胁,增加攻击者的攻击成本,从而提高系统针对撞库攻击的防御能力。

    数据处理方法、系统、存储集群、设备及可读存储介质

    公开(公告)号:CN118466859A

    公开(公告)日:2024-08-09

    申请号:CN202410924980.8

    申请日:2024-07-11

    Abstract: 本发明公开了一种数据处理方法、系统、存储集群、设备及可读存储介质,涉及存储领域,为解决采用多层耦合码修复速度慢的问题,该数据处理方法包括通过多层耦合码将原始数据划分为若干个数据块和校验块,并将各个数据块和各个校验块均划分为若干个子块后进行编码,得到每一子块的原始编码;获取格雷码序列,按格雷码序列及原始编码调整各个子块的排列顺序,按照调整后的排列顺序将各个子块写入对应的存储节点;当满足单块数据修复条件时,通过多层耦合码确定故障块,从存储节点中读取故障块对应的待访问子块,通过待访问子块对故障块进行数据修复。本发明能够将对子块大量的随机访问转换为少量的顺序访问,从而减少修复访问数量,提高修复效率。

    一种面向高密度存储服务器的快速磁盘修复方法和系统

    公开(公告)号:CN115237665A

    公开(公告)日:2022-10-25

    申请号:CN202210893252.6

    申请日:2022-07-27

    Abstract: 本发明公开一种面向高密度存储服务器的快速磁盘修复方法和系统,属于计算机存储领域。包括:根据故障磁盘确定需要修复的所有条带;从正常磁盘中读取需要修复条带的所有幸存块;计算各幸存块从磁盘被读入内存所需要的时间;构建所有可能的[a,b]组合;根据各幸存块从磁盘被读入内存所需要的时间,计算各个[a,b]组合下磁盘修复时间T;采用磁盘修复时间最小对应的[a,b]组合,进行故障磁盘的修复;a表示条带内并行度,b表示条带间并行度,且a*b=内存中可容纳数据块的数量。本发明根据当前的服务器内所有磁盘的传输速度状况,选择合理的条带内并行度和条带间并行度,使得磁盘修复时间得以最小化,从而尽可能快地修复出丢失数据,提升修复性能与系统的可靠性。

    一种基于强化学习的分布式存储系统自动调参方法及系统

    公开(公告)号:CN116088761A

    公开(公告)日:2023-05-09

    申请号:CN202310059553.3

    申请日:2023-01-18

    Abstract: 本发明公开了一种基于强化学习的分布式存储系统自动调参方法及系统,属于分布式存储技术领域;首先通过对第一样本池中的分布式存储系统性能指标进行统计,从而从第一样本池中筛选出对分布式存储系统性能影响较大的多个系统参数,作为分布式存储系统的一组调优参数,以降低优化问题的复杂度,保证了后续基于强化学习的进行调参的可行性;然后,在参数筛选的基础之上,利用强化学习的DDPG模型进行进一步的调优工作,并且在这个过程中,考虑到DDPG模型的前期冷启动耗时问题,采用遗传算法进行前期的样本收集工作,将收集得到的样本输入给DDPG模型进行预训练,从而避免前期冷启动大量耗时的问题,从而能够合理有效地对分布式存储系统参数进行准确调优。

    可抗撞库攻击的密码管理方法、系统及介质

    公开(公告)号:CN115459958B

    公开(公告)日:2024-07-02

    申请号:CN202210981851.3

    申请日:2022-08-16

    Abstract: 本发明公开了一种可抗撞库攻击的密码管理方法、系统及介质,属于密码学安全领域,方法包括:向初始数据库中填充随机密码块,并为随机密码块中的每一随机密码生成相应的域名;根据用户主密码以及用户提供的pin码生成打乱密钥,并利用伪随机置换方法,通过打乱密钥打乱随机密码块中各随机密码的位置排布,得到混淆密码块;为混淆密码块创建多个副本并作为诱饵密码块,利用用户主密码对混淆密码块进行加密,利用在密码字典中选取的随机主密码对各诱饵密码块分别进行加密,将加密后的混淆密码块和加密后的诱饵密码块作为最终密码库文件进行存储。针对系统可能遭遇撞库攻击威胁,增加攻击者的攻击成本,从而提高系统针对撞库攻击的防御能力。

Patent Agency Ranking