公开(公告)号：CN110457397A

公开(公告)日：2019-11-15

申请号：CN201910756835.2

申请日：2019-08-16

Applicant: 深圳前海微众银行股份有限公司

Inventor： 石祖恒 ,  殷凇 ,  李毅

IPC: G06F16/27 ,  G06F9/50

Abstract: 本发明公开了一种数据同步的方法及装置，其中，方法包括：获取数据同步指令，数据同步指令用于指示从N个源数据库中获取数据并同步至目标数据库中，创建数据同步指令对应的Spark会话，并在Spark会话中创建与N个源数据库相对应的N个同步作业，针对任一个同步作业，根据数据同步指令中针对同步作业对应的源数据库的执行权重，从Spark会话对应的资源池中确定用于执行同步作业的计算资源，并调用计算资源从同步作业对应的源数据库中获取数据，将各同步作业获取的数据存储至目标数据库。该技术方案用以实现并行的数据同步方式，且无需从目标数据库中获取数据以执行数据合并作业，减少计算资源的消耗。

公开(公告)号：CN109034993A

公开(公告)日：2018-12-18

申请号：CN201811153706.6

申请日：2018-09-29

Applicant: 深圳前海微众银行股份有限公司

Inventor： 石祖恒 ,  胡东东 ,  殷凇 ,  范瑞斌 ,  万磊

IPC: G06Q40/00

CPC classification number: G06Q40/12

Abstract: 本发明公开了一种对账方法，该方法包括：实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。本发明还公开了一种对账设备、系统和一种计算机可读存储介质。本发明提高了交易对账的实时性。

公开(公告)号：CN119179701A

公开(公告)日：2024-12-24

申请号：CN202411208054.7

申请日：2024-08-30

Applicant: 深圳前海微众银行股份有限公司

Inventor： 石祖恒

IPC: G06F16/22 ,  G06F16/242 ,  G06F16/27 ,  G06F16/28

Abstract: 本申请实施例提供了一种基于输入输出URN实现的数据血缘构建方法、系统及存储介质，所述方法包括：接收需要处理的任务，对该任务启动执行MapTask，依次读取所述任务所需的输入数据；根据预设的输入输出流URN规则和输入数据的数据信息组装成统一的URN，当该任务执行MapTask完毕后，根据MapTask的输入流URN和输出流URN解析得到源子系统、源数据库、源数据表,目标子系统、目标数据库、目标数据表、采集时间的血缘关系二元组；将该血缘关系二元组写入到血缘关系数据库实现血缘的构建。

公开(公告)号：CN109034993B

公开(公告)日：2022-04-01

申请号：CN201811153706.6

申请日：2018-09-29

Applicant: 深圳前海微众银行股份有限公司

Inventor： 石祖恒 ,  胡东东 ,  殷凇 ,  范瑞彬 ,  万磊

IPC: G06Q40/00

Abstract: 本发明公开了一种对账方法，该方法包括：实时读取交易系统产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。本发明还公开了一种对账设备、系统和一种计算机可读存储介质。本发明提高了交易对账的实时性。