-
公开(公告)号：CN116015552A
公开(公告)日：2023-04-25
申请号：CN202211700534.6
申请日：2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，方法包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码，并进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
-
公开(公告)号：CN115878370A
公开(公告)日：2023-03-31
申请号：CN202211710219.1
申请日：2022-12-29
Applicant: 上海交通大学
IPC: G06F11/10 , G06N3/0464 , G06N3/08
Abstract: 本发明提供了一种分布式深度学习的数据恢复方法、系统及可读存储介质，方法包括以下步骤：S1、收集神经网络模型进行训练的参数信息，并利用纠删码获得待恢复数据分布的全局信息；S2、利用人工智能来计算各类别训练数据恢复的优先级，对待恢复的数据所处的条带进行排序；S3、将计算得到的数据恢复优先级和待恢复数据分布的全局信息进行组合，构造并行的恢复方案。本发明通过人工智能为要恢复的数据建立加权优先级，并结合纠删码获得的数据块分布的全局信息来构建并行恢复方案，将纠删码获取数据全局信息的能力与人工智能恢复部分丢失数据的能力结合起来，在可接受的训练精度下大幅降低了资源消耗，加速了云存储系统中分布式深度学习的数据重建。
-
Patent Agency Ranking
公开(公告)号：CN113886115A
公开(公告)日：2022-01-04
申请号：CN202111055051.0
申请日：2021-09-09
Applicant: 上海智能网联汽车技术中心有限公司 , 上海交通大学
IPC: G06F11/07
Abstract: 本发明涉及一种基于车路协同的区块链拜占庭容错方法，该方法包括以下步骤：步骤1：基于联盟链存储新生成的车路数据，并得到新生成的区块；步骤2：获取新生成的区块基于全副本策略进行存储的访问频率；步骤3：对各区块基于全副本策略存储时的访问频率进行评估，划分成热区块和冷区块；步骤4：对热区块和冷区块基于两种不同的存储机制进行存储，以实现拜占庭容错并降低恢复时的网络开销和延时，与现有技术相比，本发明具有在实现拜占庭容错的基础上降低区块恢复网络带宽以及降低恢复时的网络开销和延时等优点。
-
公开(公告)号：CN113886115B
公开(公告)日：2024-02-20
申请号：CN202111055051.0
申请日：2021-09-09
Applicant: 上海智能网联汽车技术中心有限公司 , 上海交通大学
IPC: G06F11/07
Abstract: 本发明涉及一种基于车路协同的区块链拜占庭容错方法，该方法包括以下步骤：步骤1：基于联盟链存储新生成的车路数据，并得到新生成的区块；步骤2：获取新生成的区块基于全副本策略进行存储的访问频率；步骤3：对各区块基于全副本策略存储时的访问频率进行评估，划分成热区块和冷区块；步骤4：对热区块和冷区块基于两种不同的存储机制进行存储，以实现拜占庭容错并降低恢复时的网络开销和延时，与现有技术相比，本发明具有在实现拜占庭容错的基础上降低区块恢复网络带宽以及降低恢复时的网络开销和延时等优点。
-
公开(公告)号：CN116015552B
公开(公告)日：2025-03-07
申请号：CN202211700534.6
申请日：2022-12-28
Applicant: 上海交通大学
Abstract: 本发明提供了一种针对跨域数据中心的纠删码方法、系统及可读存储介质，方法包括以下步骤：S1、使用二层编码的编码方式，将k个数据块分成p个局部校验分组，并使用MSR编码在每个局部校验分组中生成l个局部校验块，然后使用RS编码生成g个全局校验块，将所有的全局校验块组成一个全局校验分组，和局部校验分组一起共生成p+1个分组；S2、对p+1个分组在N个数据中心内的放置策略进行建模，求解访问延时和恢复传输延时的优化问题，得到分组放置概率矩阵P；S3、根据分组放置概率矩阵P把p+1个块分组放置在N个数据中心内。本发明通过使用MSR和RS的双层编码，并进行放置策略优化，有效解决了数据恢复过程中跨数据中心传输流量大和用户访问延时高的问题。
-
公开(公告)号：CN115904796A
公开(公告)日：2023-04-04
申请号：CN202211667277.0
申请日：2022-12-23
Applicant: 上海交通大学
IPC: G06F11/10
Abstract: 本发明提供了一种长链纠删码的编解码方法、系统及可读存储介质，方法包括以下步骤：S1、通过量化方式来最小化单错误跨机柜恢复代价，选择合适的数据分组策略和数据放置策略，确定编码参数；S2、对三维编码的每一维依次进行编码；S3、利用解码算法对数据进行恢复，优先使用低维编码进行校验恢复，恢复失败再调用高维编码对每一维进行校验恢复。本发明通过对单错误跨机柜恢复代价作量化分析，基于分析结果进行机柜级别的条带放置，使条带横跨更少的机柜；同时在长链纠删码的解码阶段，优先使用低维编码进行校验恢复，恢复失败再调用高维编码，充分考虑网络拓扑，尽可能降低跨机柜恢复代价，进而提高恢复性能。
-
公开(公告)号：CN115858234A
公开(公告)日：2023-03-28
申请号：CN202211725910.7
申请日：2022-12-29
Applicant: 上海交通大学
IPC: G06F11/10 , H04L67/1097 , H04L67/568
Abstract: 本发明提供了一种数据恢复方法、系统及可读存储介质，方法包括以下步骤：S1、基于系统中数据条带的分布情况构建数据流图，在数据流图中，节点分别表示数据条带和解码节点，数据条带与解码节点连接的边代表恢复路径的选择；S2、对数据流图进行检测并识别拥塞的解码节点，将拥塞的解码节点及其在数据流图中相连的边删掉；S3、根据发生故障的数据条带的恢复路径的数量，选用不同的恢复方式。本发明通过利用大规模数据流图的剪枝和增枝，选择合适的数据恢复方案，增枝成功的执行纠删码恢复，增枝失败的执行插帧恢复，可以有效提高恢复性能。
-
-
-
-
-
-
Search Results
7
records
(took 0.019 seconds)
