一种面向亿级客户的数据汇聚处理方法
摘要:
本发明公开了属于大数据技术领域的一种面向亿级客户的数据汇聚处理方法。依据热数据抽取规则,为快速抽取微服务分组内每个网省生成一个抽取任务;采用多进程方式,同时调用每个网省快速抽取微服务抽取网省热数据;异步接收各网省热数据并记录先后顺序,采用数据节点队列将返回的每个热数据依次入队;采用基于队列的并行动态二路归并算法对多个数据节点进行数据汇聚,将结果写入二级缓存库。本发明可为营销2.0系统以支持热数据“主动推送方式”提供数据更新服务,保持二级缓存库数据与业务数据一致;能够提供客户数据检索服务,以支持在冷数据查询时即时从相关网省抽取相关数据,可实现数据汇聚后直接响应客户请求。
0/0