公开(公告)号：CN107666516A

公开(公告)日：2018-02-06

申请号：CN201710855173.5

申请日：2017-09-20

Applicant: 重庆邮电大学

Inventor： 蒋溢 ,  郭宗怀 ,  熊安萍 ,  祝清意 ,  詹妮

IPC: H04L29/08 ,  G06F21/64 ,  G06F9/54

CPC classification number: H04L67/1095 ,  G06F9/546 ,  G06F21/64 ,  G06F2209/548 ,  H04L67/28

Abstract: 本发明涉及一种基于消息热度保证kafka集群数据一致性的方法，属于数据存储与消息中间件领域。该方法包括以下步骤：S1：建立计算机编程函数partition热度模型；S2：建立热度预估模型；S3：计算副本partition的更新频率；S4：建立副本自适应一致性策略。本发明结合了kafka消息队列可靠性和云存储系统中的自适应同步策略的各自优点，提出基于集群消息访问热度的kafka集群副本数据同步的自适应算法，并且在预测文件热度时结合了LRU算法和LFU算法，兼顾了访问时间和访问频率，使得预测结果更加符合实际值；保证了数据的可靠性，同时降低了集群内网络开销与内存、CPU等额外源开销，有效地平衡了系统的可用性和性能。