发明公开
- 专利标题: 一种面向亿级客户的数据汇聚处理方法
-
申请号: CN202310810071.7申请日: 2023-07-04
-
公开(公告)号: CN116775718A公开(公告)日: 2023-09-19
- 发明人: 刘泽三 , 王琰洁 , 刘歆一 , 周景 , 欧阳红 , 陈刚 , 高莹 , 王颖 , 高天生 , 矫泰铭 , 朱平飞 , 刘俊艳
- 申请人: 国网信息通信产业集团有限公司 , 华北电力大学 , 国网辽宁省电力有限公司 , 国家电网有限公司
- 申请人地址: 北京市昌平区未来科技城北区国网智能电网研究院内C座4层; ; ;
- 专利权人: 国网信息通信产业集团有限公司,华北电力大学,国网辽宁省电力有限公司,国家电网有限公司
- 当前专利权人: 国网信息通信产业集团有限公司,华北电力大学,国网辽宁省电力有限公司,国家电网有限公司
- 当前专利权人地址: 北京市昌平区未来科技城北区国网智能电网研究院内C座4层; ; ;
- 代理机构: 北京众合诚成知识产权代理有限公司
- 代理商 张文宝
- 主分类号: G06F16/2457
- IPC分类号: G06F16/2457 ; G06F16/2458 ; G06F16/25 ; G06F16/27 ; G06F16/2455 ; G06Q30/0201
摘要:
本发明公开了属于大数据技术领域的一种面向亿级客户的数据汇聚处理方法。依据热数据抽取规则,为快速抽取微服务分组内每个网省生成一个抽取任务;采用多进程方式,同时调用每个网省快速抽取微服务抽取网省热数据;异步接收各网省热数据并记录先后顺序,采用数据节点队列将返回的每个热数据依次入队;采用基于队列的并行动态二路归并算法对多个数据节点进行数据汇聚,将结果写入二级缓存库。本发明可为营销2.0系统以支持热数据“主动推送方式”提供数据更新服务,保持二级缓存库数据与业务数据一致;能够提供客户数据检索服务,以支持在冷数据查询时即时从相关网省抽取相关数据,可实现数据汇聚后直接响应客户请求。