一种基于动态调整复制因子的云副本存储方法及系统

    公开(公告)号:CN111290710B

    公开(公告)日:2024-04-05

    申请号:CN202010063948.7

    申请日:2020-01-20

    Inventor: 宋莹 闫永峰

    Abstract: 本发明提出一种基于动态调整复制因子的云副本存储方法及系统,包括:根据预设的分散宽度和分布式存储系统中节点数量,生成多个全部节点的排列,根据排列划分复制因子的复制子集;初始数据块的复制因子,将所有数据块加入与复制因子相对应的优先级队列中,根据优先级队列将数据块的副本放入相应的复制子集中;统计各数据块的访问次数,增加访问次数最高的数据块的复制因子,以将访问次数最高的数据块加入高等级的优先级队列中,降低访问次数最低的数据块的复制因子,以将访问次数最低的数据块加入低等级的优先级队列中;将各数据块上一个周期所在的优先级队列的等级与当前周期所在优先级队列的等级相比较,根据比较结果调整各数据块所在复制子集。

    基于异构Hadoop集群环境的数据块放置方法及系统

    公开(公告)号:CN113407620B

    公开(公告)日:2023-04-21

    申请号:CN202010185518.2

    申请日:2020-03-17

    Inventor: 宋莹 许家豪

    Abstract: 本发明提出一种基于异构Hadoop集群环境的数据块放置方法及系统,首先通过计算数据块各周期的访问频率,以此来衡量数据块的冷热程度,之后通过数据块热度的不同将数据块放置到不同的数据节点上,在放置过程中考虑其相关性问题,将具有相关性的数据块分散放置,不同时存储在同一个数据节点上,避免了在一个数据节点上多个数据块同时被访问,降低了数据节点的负载。通过本发明提出的放置策略,提高了集群的执行性能和资源的利用率。

    基于文件访问特性的分布式自适应存储方法及系统

    公开(公告)号:CN114253917A

    公开(公告)日:2022-03-29

    申请号:CN202111478562.3

    申请日:2021-12-06

    Inventor: 宋莹 张强

    Abstract: 本发明提出了一种基于文件访问特性的分布式自适应存储方法和系统,目的在于针对现有的分布式存储系统中存在的大小不同的冷热文件进行副本与纠删码的自适应混合存储策略,以此来提高集群的存储效率与性能。本发明的优点在于针对分布式系统中的不同类型文件的访问特性,通过文件的占据数据块的大小以及用户对文件的访问频率计算出的文件热度,使文件拥有较适合的存储方式。并且我们在每个周期都会依据文件的热度变化以及系统的整体存储效率来对文件进行自适应存储策略更改。最终以达到提高系统的性能,提高系统的整体存储效率。

    一种基于分布式存储系统的纠删码编码布局方法及系统

    公开(公告)号:CN114237971A

    公开(公告)日:2022-03-25

    申请号:CN202111481100.7

    申请日:2021-12-06

    Abstract: 本发明提出一种分布式存储系统的纠删码编码布局方法和系统,以在分布式系统有数据丢失时通过减少恢复的数据传输量及恢复时长,从而提高整个系统的恢复效率和可靠性。本发明在传统RS纠删码存储的基础上增加了节点内部的奇偶校验计算,使用不同n、k值的RS编码,并将奇偶校验计算结果存储于当前节点中,这样在出现少量数据丢失或节点故障时,可以从节点自身解码奇偶检验块,以达到减少恢复产生的跨机架、跨节点网络带宽的目的。

    一种信息熵视角下的量子密码本扩展方法

    公开(公告)号:CN109951280A

    公开(公告)日:2019-06-28

    申请号:CN201910210921.3

    申请日:2019-03-19

    Abstract: 本发明公开了一种信息熵视角下的量子密码本扩展方法,包括随机数的产生与随机数的安全分析,对一串量子比特的前m位数定义为f(x),表示按需最多由这串量子比特产生(2的m次方-1)个字符串,将m后的n位我们定义为g(x),在g(x)中在随机取值0或1,0代表对产生的新量子比特串做单位变换,1表示对产生的新量子比特串做SHA2变换,可以利用原量子比特来产生足够多的新字符串来丰富随机数池。本发明依赖于量子比特本身,通过其部分数据建立规则,在量子通信绝对安全的背景下,将新随机数嵌入到量子比特中从而产生大量高质量的随机数,并通过绘制随机数平均信息熵与原始量子比特信息熵的比值随m位数增大的变化图,从而分析随机数的安全性。

    一种基于QKD网络的自适应密钥分发机制

    公开(公告)号:CN109889340A

    公开(公告)日:2019-06-14

    申请号:CN201910210923.2

    申请日:2019-03-19

    Abstract: 本发明公开了一种基于QKD网络的自适应密钥分发机制,包括三种密钥策略,分别是:一单独使用经典密钥;二单独使用量子密钥;三融合使用量子密钥和经典密钥,避免量子密钥生成速率较低而导致无法满足对密钥量的需求情况。本发明针对下载播放式的视频、音频信息,为其指定候选分组加密算法:AES、3DES、IDEA、SM1、SMS4、Twofish,针对RTSP流式的视频、音频信息,要保证高实时性,针对RTSP流式的视频/音频信息,为其指定候选加密算法:AES、SM1、SMS4、RC4、Rabbit、ChaCha20、Serpent,对于文本信息,如电子邮件、控制信息等,实时性要求较低,本专利针对该类应用分配对称加密算法主要根据本身所要求的安全性级别,因此,可为其指定候选加密算法:DES、AES、SM1、SMS4、Twofish。

    一种基于量子密钥分发(QKD)网络的协同编辑系统权限管理方法

    公开(公告)号:CN109714155A

    公开(公告)日:2019-05-03

    申请号:CN201910192658.X

    申请日:2019-03-13

    Abstract: 本发明公开了一种基于量子密钥分发(QKD)网络的协同编辑系统权限管理方法,文档编辑系统包括云平台、文件服务器、若干QKD终端设备、量子信道、代理服务器、密钥管理服务器,若干QKD终端设备之间通过量子信道连接,QKD终端设备的输出端连接文件服务器和密钥管理服务器,文件服务器输入端和输出端与密钥管理服务器输入端和输出端之间通过代理服务器连接。本发明实现了文档密文和密钥的分布式存储,解决了文档加密时密钥的分发可能会被第三方窃取的问题,保证了密钥的安全,从而保证了存储在云平台中的文档安全,提出了将量子密钥应用在锁表中的方案,锁表在文档协同编辑中用于控制文档的写权限,量子密钥的真随机性保证了锁id不可被伪造。

    基于异构Hadoop集群环境的数据块放置方法及系统

    公开(公告)号:CN113407620A

    公开(公告)日:2021-09-17

    申请号:CN202010185518.2

    申请日:2020-03-17

    Inventor: 宋莹 许家豪

    Abstract: 本发明提出一种基于异构Hadoop集群环境的数据块放置方法及系统,首先通过计算数据块各周期的访问频率,以此来衡量数据块的冷热程度,之后通过数据块热度的不同将数据块放置到不同的数据节点上,在放置过程中考虑其相关性问题,将具有相关性的数据块分散放置,不同时存储在同一个数据节点上,避免了在一个数据节点上多个数据块同时被访问,降低了数据节点的负载。通过本发明提出的放置策略,提高了集群的执行性能和资源的利用率。

    一种基于决策树的缺失数据填充方法及系统

    公开(公告)号:CN113254428A

    公开(公告)日:2021-08-13

    申请号:CN202010100294.0

    申请日:2020-02-18

    Inventor: 宋莹 戴政君

    Abstract: 本发明提出了一种基于决策树的缺失数据填充方法及系统,包括:判断分析样本缺失的属性值为离散型或者为连续型,并对离散型的样本缺失和连续型的样本缺失分别采用分类树和回归树进行预测填充;对连续型的数据进行归一化处理,并将文本类型的数据转换成数值型类型的数据,以及随机打乱具有一定的排列规律的数据顺序;从整体数据集中筛选出完整样本作为第一轮的训练集,首先将缺失1列的样本数据作为测试集,将决策树模型的预测结果作为缺失数据的值进行填充,并将该填充后的样本数据追加到完整数据集,然后依次对于缺失2、3、……、n列的样本数据进行填充,直到填充数据的精确度低于设置的值终止;保存填充后的数据,删除未填充的数据。

    基于文件访问特性的分布式自适应存储方法及系统

    公开(公告)号:CN114253917B

    公开(公告)日:2025-03-04

    申请号:CN202111478562.3

    申请日:2021-12-06

    Inventor: 宋莹 张强

    Abstract: 本发明提出了一种基于文件访问特性的分布式自适应存储方法和系统,目的在于针对现有的分布式存储系统中存在的大小不同的冷热文件进行副本与纠删码的自适应混合存储策略,以此来提高集群的存储效率与性能。本发明的优点在于针对分布式系统中的不同类型文件的访问特性,通过文件的占据数据块的大小以及用户对文件的访问频率计算出的文件热度,使文件拥有较适合的存储方式。并且我们在每个周期都会依据文件的热度变化以及系统的整体存储效率来对文件进行自适应存储策略更改。最终以达到提高系统的性能,提高系统的整体存储效率。

Patent Agency Ranking