-
公开(公告)号:CN111708771B
公开(公告)日:2025-04-11
申请号:CN202010558327.6
申请日:2020-06-17
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F16/215
Abstract: 本发明涉及金融科技(Fintech)技术领域,并公开了一种数据查重方法,该方法包括:当接收到目标数据,检测是否对所述目标数据进行查重处理;若是,则检测所述目标数据对应的数据交易是否满足预设的忽略条件;若不满足,则计算所述目标数据对应的当前摘要,并确定所述当前摘要对应的目标时间范围,将所述目标时间范围和所述当前摘要插入至所述目标数据对应的摘要数据表,以获取目标摘要数据表,并检测所述目标摘要数据表是否发生主键唯一性冲突;若所述目标摘要数据表发生主键唯一性冲突,则确定所述目标数据为重复数据。本发明还公开了一种数据查重装置、设备和一种计算机存储介质。本发明提高了数据查重处理的可用性。
-
公开(公告)号:CN111708771A
公开(公告)日:2020-09-25
申请号:CN202010558327.6
申请日:2020-06-17
Applicant: 深圳前海微众银行股份有限公司
IPC: G06F16/215
Abstract: 本发明涉及金融科技(Fintech)技术领域,并公开了一种数据查重方法,该方法包括:当接收到目标数据,检测是否对所述目标数据进行查重处理;若是,则检测所述目标数据对应的数据交易是否满足预设的忽略条件;若不满足,则计算所述目标数据对应的当前摘要,并确定所述当前摘要对应的目标时间范围,将所述目标时间范围和所述当前摘要插入至所述目标数据对应的摘要数据表,以获取目标摘要数据表,并检测所述目标摘要数据表是否发生主键唯一性冲突;若所述目标摘要数据表发生主键唯一性冲突,则确定所述目标数据为重复数据。本发明还公开了一种数据查重装置、设备和一种计算机存储介质。本发明提高了数据查重处理的可用性。
-
公开(公告)号:CN110363663B
公开(公告)日:2023-08-22
申请号:CN201910633067.1
申请日:2019-07-12
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本发明公开了一种基于区块链的数据批量处理方法、装置、设备及存储介质,该方法通过获取批量数据记录请求对应的多个节点中的各个数据记录请求单元,并根据预设热点配置表,在所述各个数据记录请求单元中确定热点单元;获取所述热点单元对应的变更数据信息,并将所述热点单元对应的变更数据信息同步至所属热点节点,生成待变更数据列表;根据所述待变更数据列表,对所述热点单元进行数值更新,然后对其他非热点单元进行数值更新;根据数值更新后的全部变更数据列表,对各个数据记录请求单元进行其他非数值处理操作。本发明同步记录热点单元的变更数据信息,然后基于热点节点的待变更数据列表,进行热点单元数值的异步更新。由此提高了热点单元的数据处理效率。
-
公开(公告)号:CN110363663A
公开(公告)日:2019-10-22
申请号:CN201910633067.1
申请日:2019-07-12
Applicant: 深圳前海微众银行股份有限公司
Abstract: 本发明公开了一种基于区块链的数据批量处理方法、装置、设备及存储介质,该方法通过获取批量数据记录请求对应的多个节点中的各个数据记录请求单元,并根据预设热点配置表,在所述各个数据记录请求单元中确定热点单元;获取所述热点单元对应的变更数据信息,并将所述热点单元对应的变更数据信息同步至所属热点节点,生成待变更数据列表;根据所述待变更数据列表,对所述热点单元进行数值更新,然后对其他非热点单元进行数值更新;根据数值更新后的全部变更数据列表,对各个数据记录请求单元进行其他非数值处理操作。本发明同步记录热点单元的变更数据信息,然后基于热点节点的待变更数据列表,进行热点单元数值的异步更新。由此提高了热点单元的数据处理效率。
-
-
-