基于深度强化学习的服务链并行部署方法及装置

    公开(公告)号:CN110022230A

    公开(公告)日:2019-07-16

    申请号:CN201910192438.7

    申请日:2019-03-14

    Abstract: 本发明公开了一种基于深度强化学习的服务链并行部署方法及装置,其中,该方法包括:对离线的服务链部署问题进行数学建模,以得到服务链部署问题的数学公式;根据数学公式为所有服务链中的共享的VNF选择放置服务器位置,其中,通过深度强化学习中的DQN来选择可共享的VNF的服务器位置,以生成多个子服务链;通过最短路径原则将多个子服务链连成完整服务链,并为没有指定放置位置的VNF选择部署服务器。该方法解决了因为串行部署而忽略服务链中的VNF、以及服务链之间的相关性而导致的分配不合理,有效地提高资源的共享率和利用率,采用深度强化学习,降低了计算的复杂度。

    基于强化学习的多路径TCP拥塞控制方法和装置

    公开(公告)号:CN115766583B

    公开(公告)日:2025-03-18

    申请号:CN202211422331.5

    申请日:2022-11-14

    Abstract: 本申请提供一种基于强化学习的多路径TCP拥塞控制方法和装置,方法包括:若检测到目标网络当前的网络环境发送变化,则获取目标网络在当前时刻的目标网络状态数据;将目标网络状态数据加入包含有先验数据的数据集中,并基于更新后的数据集以深度强化学习算法对预设的智能体进行微调,得到适用于目标网络当前的网络环境的新智能体,以基于该新智能体对目标网络进行拥塞控制;智能体预先以深度强化学习算法基于包含有先验数据的数据集离线预训练得到。本申请能够在网络环境变化时及时且自动对智能体进行在线微调,并能够提高智能体更新的效率及有效性,保证智能体持续的高性能,以提高使用智能体进行多路径TCP拥塞控制的有效性及可靠性。

    一种跨数据中心RDMA网络拥塞控制方法和系统

    公开(公告)号:CN117896324A

    公开(公告)日:2024-04-16

    申请号:CN202410102965.5

    申请日:2024-01-24

    Abstract: 本发明提供一种跨数据中心RDMA网络拥塞控制方法和系统,该方法包括:将第一数据中心拥塞信息写入数据包的包头字段,发送至第一互联交换机,传输至第二互联交换机,由第二互联交换机去除拥塞信息后转发至第二数据中心。接收第一互联交换机基于第一数据中心拥塞信息生成的第一反馈报文,根据第一反馈报利文计算第一拥塞率,根据第一拥塞率初步调节数据传输速率。接收第二数据中心基于该中心拥塞信息生成的第二反馈报文,计算第二拥塞率,根据第一拥塞率和第二拥塞率再次调节数据传输速率。第本发明能够适应不同网络条件,更快地调节网络拥塞并保障流之间的公平性。

    网络拥塞控制模型训练方法、控制方法及训练装置

    公开(公告)号:CN117880199A

    公开(公告)日:2024-04-12

    申请号:CN202311676539.4

    申请日:2023-12-08

    Abstract: 本申请提供一种网络拥塞控制模型训练方法、控制方法及训练装置,所述训练方法包括:基于预设的网络强化学习步骤迭代训练一演员网络和评论家网络,以得到用于输出针对数据流的多个网络状态进行调整的各个动作的网络拥塞控制模型;网络强化学习步骤包括:获取多个网络状态以及各个网络状态各自对应的目标动作;计算各个网络状态各自对应的奖励对当前的评论家网络进行迭代更新,直至更新次数满足预设的更新次数阈值后停止更新,以得到目标评论家网络;更新演员网络、第一网络、第二网络。本申请能够对多应用场景下的网络拥塞进行优化,有效提高多场景网络拥塞控制的普适性,以及提升不同数据流占用网络资源的平衡性。

    多路径拥塞控制方法及装置

    公开(公告)号:CN115037672B

    公开(公告)日:2023-07-18

    申请号:CN202210462002.7

    申请日:2022-04-28

    Abstract: 本申请提供一种多路径拥塞控制方法及装置,方法包括:实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态;若目标网络当前处于非阻塞状态,则使用一个单子流强化学习模型应用于MPTCP的各个子流,对目标网络的数据传输进行符合公平性原则的拥塞控制。本申请能够实现强化学习模型DRL在基于多路径传输控制协议MPTCP的网络拥塞控制中的应用,能够有效提高多路径拥塞控制的及时性及可靠性;并能够有效避免阻塞对目标网络中数据传输性能带来的影响,提高拥塞控制的智能化程度,进而能够有效保证基于多路径传输控制协议的目标网络的运行稳定性,更适用于高速网络。

    一种数据中心网络TCP和RDMA混合流调度方法、系统及装置

    公开(公告)号:CN115695578A

    公开(公告)日:2023-02-03

    申请号:CN202211145016.2

    申请日:2022-09-20

    Abstract: 本发明提供一种数据中心网络TCP和RDMA混合流调度方法、系统及装置,通过将TCP数据包和RDMA数据包按照各自的优先级分别缓存在不同的交换机队列中,并分别配置两类数据包所需的传输环境。在传输过程中,按照优先级由高到低的顺序依次传输各TCP数据包和各RDMA数据包,同一优先级内存储TCP数据包和RDMA数据包的两类队列按照轮询调度的方式传输。本发明能够适应TCP和RDMA混合流调度需求,有效利用带宽资源,较为公平、高效地调度TCP流和RDMA流,对于对时延和吞吐有不同需求的流量提供针对性服务。

    面向低轨卫星网络的洪泛拓扑构建方法、装置和存储介质

    公开(公告)号:CN115297045A

    公开(公告)日:2022-11-04

    申请号:CN202210504071.X

    申请日:2022-05-10

    Abstract: 本发明提供一种面向低轨卫星网络的洪泛拓扑构建方法、装置和存储介质,所述方法包括:选择初始物理拓扑中所有的轨道内星间链路;在初始物理拓扑的第一半边拓扑和第二半边拓扑的每两个相邻轨道间各选择一条星间链路,找出所有的轨道间星间链路选择方案;计算每种链路选择方案的洪泛直径,选择具有最小洪泛直径的轨道间星间链路选择方案,所述洪泛直径为洪泛拓扑中最远的两个节点之间的最短距离;基于初始物理拓扑中所有的轨道内星间链路和所述具有最小洪泛直径的轨道间星间链路选择方案构建洪泛拓扑。本发明能够减少在低轨卫星网络中的冗余洪泛信息传递,并使得路由快速收敛,提高低轨卫星网络的运行效率。

    一种高动态拓扑卫星网络中时延区分的传输控制方法

    公开(公告)号:CN113014505B

    公开(公告)日:2022-10-14

    申请号:CN202110338705.4

    申请日:2021-03-30

    Abstract: 本申请实施例提供的高动态拓扑卫星网络中时延区分的传输控制方法,应用于通讯技术领域,可以获取卫星网络当前的时延信息;根据当前的时延信息和预先获取的历史时延信息获取时延变化,并判断时延变化是否为卫星切换导致的;若是,则对所述卫星网络进行时延探测,得到所述时延探测过程中最小时延数值;根据所述最小时延数值,利用预设时延探测算法计算并更新拥塞窗口;根据计算得到的拥塞窗口进行信息发送。通过本申请实施例的方法,可以判断当前时延是否为卫星切换导致的时延,若是,则可以获取时延探测过程中最小时延数值,并利用预设时延探测算法计算并更新拥塞窗口,从而可以避免网络带宽资源浪费的问题,提高卫星网络的传输效率。

    轻量化网络中间件的架构系统及卫星通信方法

    公开(公告)号:CN113489527A

    公开(公告)日:2021-10-08

    申请号:CN202110639668.0

    申请日:2021-06-07

    Abstract: 本文属于卫星技术领域,具体涉及一种轻量化网络中间件的架构系统及卫星通信方法,其中,系统包括:相互连接的轻量化网络中间件集群组件和地面控制组件;轻量化网络中间件集群组件包括多个相互连接的卫星节点以及卫星控制器,卫星节点中设置有通过网络虚拟化技术得到的网络中间件,网络中间件用于实现卫星节点的网络功能,网络中间件包括多个表征独立功能行为模块;地面控制组件用于对网络中间件进行创建、部署和控制;地面控制组件还用于向卫星控制器发送压缩合并信息,以使得卫星控制器对服务链中相同卫星节点或相邻卫星节点中网络中间件中的行为模块合并压缩。本发明的实施能够降低卫星网络对数据包的处理时延,提高处理速率。

    一种支持协议无关数据包处理的实验平台及实验方法

    公开(公告)号:CN107749802B

    公开(公告)日:2020-07-03

    申请号:CN201710947804.6

    申请日:2017-10-12

    Abstract: 本发明实施例提供了一种支持协议无关数据包处理的实验平台及实验方法,其中,该实验平台包括:控制模块、编译模块、发送模块、交换机组、接收模块、数据处理模块和GUI模块,通过本发明实施例提供的一种支持协议无关数据包处理的实验平台及实验方法,当用户需要进行仿真实验时,可以将预先编写的配置指令信息和交换机处理逻辑信息输入该实验平台,便可以方便的进行仿真实验,免除了重复、繁琐的配置实验环境的过程,可以满足对P4语言编写的处理逻辑进行仿真的需要,进一步的,该实验平台还可以用于对支持协议无关数据包处理的交换机的性能实验。

Patent Agency Ranking