基于深度强化学习的基站缓存替换方法、系统及存储介质

    公开(公告)号:CN113115368B

    公开(公告)日:2022-08-05

    申请号:CN202110360611.7

    申请日:2021-04-02

    Inventor: 朱琦 赵旭

    Abstract: 本发明公开了物联网通信领域的一种基于深度强化学习的基站缓存替换方法、系统及存储介质,针对物联网的边缘缓存场景,引入物联网数据的新鲜度属性。定义了获取物联网数据时的时延成本以及新鲜度损失成本,并基于权衡传输时延以及数据新鲜度的方法定义了效用函数,同时以最小化用户的总效用为目标建立了优化问题。将缓存替换问题建模为MDP问题,通过将网络状态、数据请求状态以及网络上下文信息作为系统状态,将缓存替换方法作为动作进行抉择,以获取数据时的总成本来设计奖赏函数,并通过状态转移概率函数来确定下一个决策时期的状态。最后,采用A3C方法来对缓存替换方法进行优化,以实现传输时延和新鲜度之间的均衡,并获得更多的缓存命中。

    基于深度强化学习的基站缓存替换方法、系统及存储介质

    公开(公告)号:CN113115368A

    公开(公告)日:2021-07-13

    申请号:CN202110360611.7

    申请日:2021-04-02

    Inventor: 朱琦 赵旭

    Abstract: 本发明公开了物联网通信领域的一种基于深度强化学习的基站缓存替换方法、系统及存储介质,针对物联网的边缘缓存场景,引入物联网数据的新鲜度属性。定义了获取物联网数据时的时延成本以及新鲜度损失成本,并基于权衡传输时延以及数据新鲜度的方法定义了效用函数,同时以最小化用户的总效用为目标建立了优化问题。将缓存替换问题建模为MDP问题,通过将网络状态、数据请求状态以及网络上下文信息作为系统状态,将缓存替换方法作为动作进行抉择,以获取数据时的总成本来设计奖赏函数,并通过状态转移概率函数来确定下一个决策时期的状态。最后,采用A3C方法来对缓存替换方法进行优化,以实现传输时延和新鲜度之间的均衡,并获得更多的缓存命中。

    一种基于新鲜度的在线协作缓存方法

    公开(公告)号:CN111277666B

    公开(公告)日:2021-06-01

    申请号:CN202010106364.3

    申请日:2020-02-21

    Inventor: 朱琦 赵旭

    Abstract: 本发明公开了一种基于新鲜度的在线协作缓存方法,该方法针对物联网场景下的多基站协作缓存问题,考虑了各个基站未知文件流行度的方法,同时引入了物联网场景下的“新鲜度”概念来约束缓存在小基站中的文件的实时程度。步骤如下:该方法以文件新鲜度符合用户期望为前提,对每个请求进行缓存策略选择以及对用户进行服务策略选择,保证小基站服务用户时所支付的总成本最小化,得到了小基站缓存文件以及服务用户的最佳方案。该方法虽然在总成本上有所增加,但却大幅度提升了用户满意度,实现了文件新鲜度和总成本之间的均衡。

    一种基于新鲜度的在线协作缓存方法

    公开(公告)号:CN111277666A

    公开(公告)日:2020-06-12

    申请号:CN202010106364.3

    申请日:2020-02-21

    Inventor: 朱琦 赵旭

    Abstract: 本发明公开了一种基于新鲜度的在线协作缓存方法,该方法针对物联网场景下的多基站协作缓存问题,考虑了各个基站未知文件流行度的方法,同时引入了物联网场景下的“新鲜度”概念来约束缓存在小基站中的文件的实时程度。步骤如下:该方法以文件新鲜度符合用户期望为前提,对每个请求进行缓存策略选择以及对用户进行服务策略选择,保证小基站服务用户时所支付的总成本最小化,得到了小基站缓存文件以及服务用户的最佳方案。该方法虽然在总成本上有所增加,但却大幅度提升了用户满意度,实现了文件新鲜度和总成本之间的均衡。

Patent Agency Ranking