基于强化学习的卫星协作缓存和用户接入方法

    公开(公告)号:CN117879680A

    公开(公告)日:2024-04-12

    申请号:CN202311770292.2

    申请日:2023-12-21

    Abstract: 本发明公开了一种基于强化学习的卫星协作缓存和用户接入方法,包括:构建地轨卫星网络模型,基于所述地轨卫星网络模型建立卫星与用户之间的链路可用性模型、内容缓存与用户接入模型以及卫星与用户的通信模型;以最小化网络模型长期的内容服务延迟为优化目标,以卫星的缓存容量限制、协作缓存卫星的跳数限制、用户的接入策略限制为约束条件,建立了缓存放置和用户接入的联合优化问题P1;将缓存放置和用户接入的联合优化问题P1转化为最大化长期奖励MDP问题;利用基于双层DQN的强化学习算法求解最大化长期奖励MDP问题,最终获得网络模型长期奖励最大时的协作缓存放置策略和用户接入策略。本发明有效减少了网络中的服务时延。

    异构网络中高能效编码缓存内容放置方案设计方法

    公开(公告)号:CN111741495A

    公开(公告)日:2020-10-02

    申请号:CN202010573250.X

    申请日:2020-06-22

    Abstract: 本发明提供了一种异构网络中高能效编码缓存内容放置方案设计方法,包括以下步骤:S1、建立网络模型;S2、缓存放置阶段和编码传输阶段的具体设计;S3、系统能耗性能分析;S4、建立优化问题并求解,包括小基站缓存放置矩阵优化和小基站缓存容量分配向量优化。本发明的有益效果是:针对异构无线网络,考虑了文件尺寸,文件流行度,小基站覆盖范围内的用户数等异构特征对系统能耗性能的影响,特点是在传输阶段根据用户实际需求情况和小基站的缓存放置情况执行编码传输操作,联合考虑了基站缓存放置和缓存容量分配问题,以实现最大化发挥编码传输在能量开销上的优势,解决异构网络的高能耗开销问题。

    一种面向星地融合网络的动态缓存更新方法

    公开(公告)号:CN119997054A

    公开(公告)日:2025-05-13

    申请号:CN202510091871.7

    申请日:2025-01-21

    Abstract: 本发明提供一种面向星地融合网络的动态缓存更新方法,包括:步骤一:根据LEO卫星的位置信息建立LEO卫星‑基站的时变关联矩阵,基于时变关联矩阵构建地面基站‑LEO卫星‑核心网网关三层的缓存架构网络模型;步骤二:构建多内容子库模型表征不同卫星覆盖区域下的内容流行度;步骤三:构建网络中卫星与基站的通信链路模型,建立衡量星地缓存策略好坏的性能指标;步骤四:提出基于元强化学习的星地及星间自适应阈值协作缓存策略,学习不同覆盖区域间内容流行度的变化特征,基于卫星覆盖区域间内容特征相似度以及卫星节点处的备选内容索引集合实现区域切换时的缓存更新。本发明的有益效果是:提升了深度强化学习的泛化能力,提高了网络能效。

    面向天基算力星座的多跳路由与负载分配方法、系统及存储介质

    公开(公告)号:CN119996292A

    公开(公告)日:2025-05-13

    申请号:CN202510089878.5

    申请日:2025-01-21

    Abstract: 本发明提供面向天基算力星座的多跳路由与负载分配方法、系统及存储介质,该方法包括:步骤一:建立天基算力星座执行矩阵向量乘法计算任务的模型,给出源节点对任务进行编码、拆分,中继节点逐跳传输任务,在端到端路由过程中中继节点和目的节点对任务进行分布式计算;步骤二:建立最小化任务执行时延的优化问题,提出基于块坐标下降法的算力感知和负载分配算法将原问题拆分为路由和负载分配问题;步骤三:基于动态规划设计算力感知的路由算法选择最佳中继节点,基于内点法设计多跳的编码负载分配算法以实现通信和计算负载均衡。本发明的有益效果是:避免传输大量原始数据给地面中心,在端到端路由过程中将任务分布式进行处理,降低任务执行时延。

    基于混合自动重传请求的非地面网络通信方法及装置

    公开(公告)号:CN118282588B

    公开(公告)日:2024-12-03

    申请号:CN202410515115.8

    申请日:2024-04-26

    Abstract: 本发明提供的基于混合自动重传请求的非地面网络通信方法及装置,具体涉及数字通信技术领域,方案包括:获取非地面网络通信中的若干个码字序列;利用预先构建的马尔科夫决策过程模型对各次混合自动重传请求过程的各个码字序列的码率分配及禁用反馈重传的时机进行决策,获得最优的码率分配策略以及最优的禁用反馈重传策略;按照最优的码率分配策略以及最优的禁用反馈重传策略,执行各次混合自动重传请求过程,以对各个码字序列进行传输。该方案能够有效增加各次混合自动重传请求过程中传输的信息量,从而显著提高信息的传输效率,并能够有效改善非地面网络编码HARQ通信系统的信息时效性性能。

    基于混合自动重传请求的非地面网络通信方法及装置

    公开(公告)号:CN118282588A

    公开(公告)日:2024-07-02

    申请号:CN202410515115.8

    申请日:2024-04-26

    Abstract: 本发明提供的基于混合自动重传请求的非地面网络通信方法及装置,具体涉及数字通信技术领域,方案包括:获取非地面网络通信中的若干个码字序列;利用预先构建的马尔科夫决策过程模型对各次混合自动重传请求过程的各个码字序列的码率分配及禁用反馈重传的时机进行决策,获得最优的码率分配策略以及最优的禁用反馈重传策略;按照最优的码率分配策略以及最优的禁用反馈重传策略,执行各次混合自动重传请求过程,以对各个码字序列进行传输。该方案能够有效增加各次混合自动重传请求过程中传输的信息量,从而显著提高信息的传输效率,并能够有效改善非地面网络编码HARQ通信系统的信息时效性性能。

    异构网络中高能效编码缓存内容放置方案设计方法

    公开(公告)号:CN111741495B

    公开(公告)日:2023-06-23

    申请号:CN202010573250.X

    申请日:2020-06-22

    Abstract: 本发明提供了一种异构网络中高能效编码缓存内容放置方案设计方法,包括以下步骤:S1、建立网络模型;S2、缓存放置阶段和编码传输阶段的具体设计;S3、系统能耗性能分析;S4、建立优化问题并求解,包括小基站缓存放置矩阵优化和小基站缓存容量分配向量优化。本发明的有益效果是:针对异构无线网络,考虑了文件尺寸,文件流行度,小基站覆盖范围内的用户数等异构特征对系统能耗性能的影响,特点是在传输阶段根据用户实际需求情况和小基站的缓存放置情况执行编码传输操作,联合考虑了基站缓存放置和缓存容量分配问题,以实现最大化发挥编码传输在能量开销上的优势,解决异构网络的高能耗开销问题。

    面向卫星异构组网的多时间尺度星间协同缓存方法

    公开(公告)号:CN118041428A

    公开(公告)日:2024-05-14

    申请号:CN202410258175.6

    申请日:2024-03-07

    Abstract: 本发明公开了一种面向卫星异构组网的多时间尺度协同缓存方法,包括:构建卫星异构组网系统模型并建立卫星服务用户的流程;以最小化系统时延和内容缓存代价为优化目标,以卫星的缓存容量限制、缓存变量离散化限制以及低轨卫星与中轨卫星之间的通信限制为约束条件,建立星间协同缓存优化问题并转化为马尔科夫决策问题,并利用基于分层强化学习算法求解所述马尔科夫决策问题,将低轨卫星作为内层智能体,将中轨卫星作为外层智能体,两层算法有相同的网络模型状态输入和最大化长期奖励优化目标,最终获得网络模型长期奖励最大时的缓存策略和卫星连接策略,本发明方法可以有效减少系统时延和内容放置代价。

Patent Agency Ranking