公开(公告)号：CN114025017B

公开(公告)日：2024-04-16

申请号：CN202111284077.2

申请日：2021-11-01

Applicant: 杭州电子科技大学

Inventor： 徐海涛 ,  孙悦隽 ,  邬惠峰 ,  戴翚

IPC: H04L67/568 ,  H04L67/5682 ,  G06N3/044 ,  G06N3/092

Abstract: 本发明提供一种基于深度循环强化学习的网络边缘缓存方法、装置及设备，在该方法中，通过采集获取当前时隙之前的连续多个时隙的系统状态信息，将多个时隙的系统状态信息输入深度循环神经网络中进行缓存动作选择处理，得到目标缓存动作，根据目标缓存动作执行缓存替换操作。其中深度循环神经网络是预先训练的用于根据多个连续时隙的系统状态信息确定缓存动作的计算模型，本方案中的深度循环神经网络利用多个连续时隙系统状态信息中的内容流行度进行计算，并且在缓存动作选择时考虑到缓存时间和缓存替换时从相邻边缘服务器获取还是从远程云数据中心获取，提高了缓存准确率，降低了缓存超时存储成本和缓存替换成本。

公开(公告)号：CN114185677A

公开(公告)日：2022-03-15

申请号：CN202111523410.0

申请日：2021-12-14

Applicant: 杭州电子科技大学

Inventor： 徐海涛 ,  杨羽涛 ,  邬惠峰 ,  戴翚

IPC: G06F9/50 ,  G06N20/00

Abstract: 本申请实施例提供了一种基于多智能体强化学习模型的边缘缓存方法和装置，通过获取当前缓存的多个高等流行度内容和中等流行度内容的信息，信息包括内容标识、第一存储状态和内容的第一流行度，第一流行度表示内容被请求的概率，中等流行度内容可用于与邻近服务器进行合作被邻近服务器获取；通过多智能体强化学习模型对内容标识、第一存储状态和第一流行度进行处理，得到下一时刻缓存的目标内容的目标内容标识和目标存储状态；并对当前缓存的内容进行更新。本申请提供的技术方案提高了终端设备请求的内容在本地服务器和邻近服务器中的命中率，从而减少了终端设备请求内容的时延，有效地提升了用户体验。

公开(公告)号：CN114025017A

公开(公告)日：2022-02-08

申请号：CN202111284077.2

申请日：2021-11-01

Applicant: 杭州电子科技大学

Inventor： 徐海涛 ,  孙悦隽 ,  邬惠峰 ,  戴翚

IPC: H04L67/568 ,  H04L67/5682 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于深度循环强化学习的网络边缘缓存方法、装置及设备，在该方法中，通过采集获取当前时隙之前的连续多个时隙的系统状态信息，将多个时隙的系统状态信息输入深度循环神经网络中进行缓存动作选择处理，得到目标缓存动作，根据目标缓存动作执行缓存替换操作。其中深度循环神经网络是预先训练的用于根据多个连续时隙的系统状态信息确定缓存动作的计算模型，本方案中的深度循环神经网络利用多个连续时隙系统状态信息中的内容流行度进行计算，并且在缓存动作选择时考虑到缓存时间和缓存替换时从相邻边缘服务器获取还是从远程云数据中心获取，提高了缓存准确率，降低了缓存超时存储成本和缓存替换成本。