一种分布式动态路由网络的错误定位方法

    公开(公告)号:CN104579788A

    公开(公告)日:2015-04-29

    申请号:CN201510028628.7

    申请日:2015-01-21

    Abstract: 本发明公开了一种分布式动态路由网络的错误定位方法,对于互联网中任意的连续的二跳的三个节点,将其分别划分为收集节点,嫌疑节点以及监视节点。数据流量由收集节点发起,经过非对称加密之后,经过嫌疑节点的传递将数据传输给监视节点。监视节点收到数据之后通过验证,并将信息汇总反馈给收集节点。收集节点通过对于发送给嫌疑节点的数据和监视节点的反馈来判断嫌疑节点是否存在错误或者是否为恶意节点。本发明实现了数据包内容的破坏,节点错误的丢包、重发错误,节点恶意延迟、乱序发送数据包这三个错误的定位。

    一种基于映射-归约计算模型的洗牌数据缓存方法

    公开(公告)号:CN106371919B

    公开(公告)日:2019-07-16

    申请号:CN201610712705.5

    申请日:2016-08-24

    Abstract: 本发明公开了一种基于映射‑归约计算模型的洗牌数据缓存方法,包括映射‑归约计算框架将一个映射‑归约工作按任务为单位的划分通过接口发送到洗牌缓存主机,洗牌缓存主机接收到任务划分数据后,加上时间戳保存在本地内存中;洗牌缓存主机对任务划分数据采用随机算法将其中的归约任务与集群的各个节点做一个一对三的映射,并以哈希表的形式保存在洗牌缓存主机的内存中等步骤。本发明能够提升基于映射‑归约模型的分布式计算框架的计算性能,避免低效的用户手动设置检查点,提升分布式计算框架的鲁棒性。

    一种流水化数据洗牌传输的Spark任务调度与执行方法

    公开(公告)号:CN105718244A

    公开(公告)日:2016-06-29

    申请号:CN201610029211.7

    申请日:2016-01-18

    CPC classification number: G06F9/3869

    Abstract: 本发明公开了一种流水化数据洗牌传输的Spark任务调度与执行方法,从后向前提交并执行阶段和其中的任务,同时采用前驱任务发送执行结果到后继任务的内存,在不改变用户接口,不破坏阶段的完整性和容错性的同时,解决了原本Spark在不同阶段(Stage)中洗牌数据传输(Shuffle)的磁盘读写开销,从而降低了分布式计算程序在Spark上的运行时间。

    一种云数据中心的负载预测方法

    公开(公告)号:CN105260794A

    公开(公告)日:2016-01-20

    申请号:CN201510658479.2

    申请日:2015-10-12

    Abstract: 本发明公开一种云数据中心的负载预测方法,包括步骤:采集预测云数据中心的历史数据,并进行归一化处理;计算CPU历史数据与其余各性能指标的相关性;时间窗口提取;特征提取;特征融合:将得到的各性能指标特征进行拼接后,输入到自编码神经网络中,做进一步压缩,最终得到一个共同的压缩特征;人工干预;有监督学习;预测结果。本发明可以发现潜在的变化信号,从而更加准确地掌握变化的方向,更加贴合实际需求,在实际应用中可以提高约5-10%的预测准确率。

    一种流水化数据洗牌传输的Spark任务调度与执行方法

    公开(公告)号:CN105718244B

    公开(公告)日:2018-01-12

    申请号:CN201610029211.7

    申请日:2016-01-18

    Abstract: 本发明公开了一种流水化数据洗牌传输的Spark任务调度与执行方法,从后向前提交并执行阶段和其中的任务,同时采用前驱任务发送执行结果到后继任务的内存,在不改变用户接口,不破坏阶段的完整性和容错性的同时,解决了原本Spark在不同阶段(Stage)中洗牌数据传输(Shuffle)的磁盘读写开销,从而降低了分布式计算程序在Spark上的运行时间。

    一种分布式动态路由网络的错误定位方法

    公开(公告)号:CN104579788B

    公开(公告)日:2017-10-20

    申请号:CN201510028628.7

    申请日:2015-01-21

    Abstract: 本发明公开了一种分布式动态路由网络的错误定位方法,对于互联网中任意的连续的二跳的三个节点,将其分别划分为收集节点,嫌疑节点以及监视节点。数据流量由收集节点发起,经过非对称加密之后,经过嫌疑节点的传递将数据传输给监视节点。监视节点收到数据之后通过验证,并将信息汇总反馈给收集节点。收集节点通过对于发送给嫌疑节点的数据和监视节点的反馈来判断嫌疑节点是否存在错误或者是否为恶意节点。本发明实现了数据包内容的破坏,节点错误的丢包、重发错误,节点恶意延迟、乱序发送数据包这三个错误的定位。

    一种用于分布式计算机平台的网络流组调度方法

    公开(公告)号:CN105227488B

    公开(公告)日:2018-05-08

    申请号:CN201510526867.5

    申请日:2015-08-25

    CPC classification number: Y02D50/30

    Abstract: 本发明公开了一种用于分布式计算机平台的网络流组调度方法。本发明通过心跳检测收集集群中实时的带宽信息,采用集中式调度来决定网络流组的优先级和传输速率,解决了分布式调度的复杂控制和对交换机的修改等问题。同时,又采用分布式的动态限速算法来控制低优先级的网络流组的传输速率,避免了集中式调度的带来的延迟性。通过这两种混合的调度策略,最终实现了对网络流组更精确的调度,从而降低了分布式计算机平台中网络流组的平均完成时间,提升分布式计算机平台的性能。

    一种基于映射-归约计算模型的洗牌数据缓存方法

    公开(公告)号:CN106371919A

    公开(公告)日:2017-02-01

    申请号:CN201610712705.5

    申请日:2016-08-24

    CPC classification number: G06F9/5016 G06F11/0709 G06F11/073

    Abstract: 本发明公开了一种基于映射-归约计算模型的洗牌数据缓存方法,包括映射-归约计算框架将一个映射-归约工作按任务为单位的划分通过接口发送到洗牌缓存主机,洗牌缓存主机接收到任务划分数据后,加上时间戳保存在本地内存中;洗牌缓存主机对任务划分数据采用随机算法将其中的归约任务与集群的各个节点做一个一对三的映射,并以哈希表的形式保存在洗牌缓存主机的内存中等步骤。本发明能够提升基于映射-归约模型的分布式计算框架的计算性能,避免低效的用户手动设置检查点,提升分布式计算框架的鲁棒性。

    一种用于分布式计算机平台的网络流组调度方法

    公开(公告)号:CN105227488A

    公开(公告)日:2016-01-06

    申请号:CN201510526867.5

    申请日:2015-08-25

    CPC classification number: Y02D50/30 H04L47/52 H04L47/6275

    Abstract: 本发明公开了一种用于分布式计算机平台的网络流组调度方法。本发明通过心跳检测收集集群中实时的带宽信息,采用集中式调度来决定网络流组的优先级和传输速率,解决了分布式调度的复杂控制和对交换机的修改等问题。同时,又采用分布式的动态限速算法来控制低优先级的网络流组的传输速率,避免了集中式调度的带来的延迟性。通过这两种混合的调度策略,最终实现了对网络流组更精确的调度,从而降低了分布式计算机平台中网络流组的平均完成时间,提升分布式计算机平台的性能。

Patent Agency Ranking