公开(公告)号：CN106874213A

公开(公告)日：2017-06-20

申请号：CN201710022404.4

申请日：2017-01-12

Applicant: 杭州电子科技大学

Inventor： 王发宽 ,  姚英彪 ,  周杰 ,  陈功

IPC: G06F12/02 ,  G06F3/06 ,  G06K9/62

Abstract: 本发明公开了一种融合多种机器学习算法的固态硬盘热数据识别方法。本发明首先根据请求的大小采用K‑means均值聚类算法对请求进行聚类，判断该请求是冷数据还是热数据；然后，再根据请求的逻辑页号采用K近邻分类算法对该请求进行分类；最后，如果两种方法的分类结果不一致，根据逻辑页号采用最近邻原则对判定结果进行修正。与传统的冷热数据识别方法相比，采用本发明方法既可以保证较低的内存开销，又可以提高热数据识别的准确性，适用于集成到现有的固态硬盘系统中，提高系统的整体性能。

公开(公告)号：CN106874213B

公开(公告)日：2020-03-20

申请号：CN201710022404.4

申请日：2017-01-12

Applicant: 杭州电子科技大学

Inventor： 王发宽 ,  姚英彪 ,  周杰 ,  陈功

IPC: G06F12/02 ,  G06F3/06 ,  G06K9/62

Abstract: 本发明公开了一种融合多种机器学习算法的固态硬盘热数据识别方法。本发明首先根据请求的大小采用K‑means均值聚类算法对请求进行聚类，判断该请求是冷数据还是热数据；然后，再根据请求的逻辑页号采用K近邻分类算法对该请求进行分类；最后，如果两种方法的分类结果不一致，根据逻辑页号采用最近邻原则对判定结果进行修正。与传统的冷热数据识别方法相比，采用本发明方法既可以保证较低的内存开销，又可以提高热数据识别的准确性，适用于集成到现有的固态硬盘系统中，提高系统的整体性能。

公开(公告)号：CN107368608A

公开(公告)日：2017-11-21

申请号：CN201710664858.1

申请日：2017-08-07

Applicant: 杭州电子科技大学

Inventor： 姚英彪 ,  陈功 ,  许晓荣 ,  刘兆霆 ,  冯维

IPC: G06F17/30 ,  G06F12/0813

CPC classification number: G06F17/30132 ,  G06F12/0813 ,  G06F17/30194

Abstract: 本发明公开了一种基于ARC替换算法的HDFS小文件缓存管理方法，首先在数据节点上使用tmpfs构建数据缓存区，其中，tmpfs是Linux/Unix系统上的一种基于内存的文件系统。在Namenode端集成两个模块：判断模块和决策模块，在Datanode集成一个执行模块。其次，将判断模块、决策模块和执行模块作为三个阶段对小文件进行缓存替换操作。最后，当需要缓存小文件数据块时，Namenode将与数据块存储的Datanode进行通信，并发出指令将数据块缓存在数据节点的高速缓存中。本发明提出的缓存替换管理方法解决了HDFS中小文件被各应用频繁访问时效率低下的问题，应用前景广阔，适合当HDFS系统中小文件较多且小文件经常被频繁访问的场景，本发明能大大减少HDFS反复读取硬盘所带来的时间消耗，提高任务的运行效率。