发明公开
- 专利标题: 一种基于分布式离线数据库的数据增量处理方法及系统
- 专利标题(英): Data increment processing method and system based on distributed off-line database
-
申请号: CN201710549726.4申请日: 2017-07-07
-
公开(公告)号: CN107402981A公开(公告)日: 2017-11-28
- 发明人: 江樱 , 黄海潮 , 刘鸿宁 , 卢文达 , 陈振 , 杨春晨 , 褚大可 , 王仲锋 , 何欣 , 刘秀
- 申请人: 国网浙江省电力公司信息通信分公司 , 国网浙江省电力公司
- 申请人地址: 浙江省杭州市黄龙路8号
- 专利权人: 国网浙江省电力公司信息通信分公司,国网浙江省电力公司
- 当前专利权人: 国网浙江省电力公司信息通信分公司,国网浙江省电力公司
- 当前专利权人地址: 浙江省杭州市黄龙路8号
- 代理机构: 杭州华鼎知识产权代理事务所
- 代理商 项军
- 主分类号: G06F17/30
- IPC分类号: G06F17/30
摘要:
本发明旨在提供种基于分布式离线数据库的数据增量处理方法及系统,以解决现有技术方案中因主键值变更,大数据平台在进行数据增量合并后数据出现重复的问题。包括如下步骤:获取增量数据的关键信息并写入增量变化表;获取增量数据记录表中操作状态为变更的增量数据记录作为待处理数据记录;获取待处理数据记录中更新前主键和更新后主键不相等的记录作为待拆分数据记录;将待拆分数据记录拆分为操作状态为删除的数据记录和拆分为操作状态为添加的数据记录;根据增量变化表进行数据增量合并。有益技术效果:防止数据因为主键变更而出现重复。
公开/授权文献
- CN107402981B 一种基于分布式离线数据库的数据增量处理方法及系统 公开/授权日:2023-07-18