- 专利标题: 一种数据处理方法、装置、设备及可读存储介质
-
申请号: CN202410087040.8申请日: 2024-01-22
-
公开(公告)号: CN117609315B公开(公告)日: 2024-04-16
- 发明人: 王守任 , 薛茜 , 吕琦 , 叶佳蕊
- 申请人: 中债金融估值中心有限公司
- 申请人地址: 上海市浦东新区世纪大道1788号7层
- 专利权人: 中债金融估值中心有限公司
- 当前专利权人: 中债金融估值中心有限公司
- 当前专利权人地址: 上海市浦东新区世纪大道1788号7层
- 代理机构: 北京集佳知识产权代理有限公司
- 代理商 何欣
- 主分类号: G06F16/2455
- IPC分类号: G06F16/2455 ; G06F16/2457 ; G06F16/22 ; G06F16/25
摘要:
本申请实施例提供了一种数据处理方法、装置、设备及可读存储介质,基于目标数据源的类型和状态,从目标数据源获取目标数据和目标业务的信息,将目标数据以实时流数据形式存储至消息队列,采用流处理框架将目标数据持久化至数据湖。从目标源提取目标数据,并采用流处理框架对目标数据进行解析处理,得到标准化数据,目标源包括消息队列和数据湖中的一项。将标准化数据以实时流数据形式存储至消息队列,采用流处理框架将标准化数据持久化至数据湖。从目标源提取标准化数据,基于业务需求,采用流处理框架对标准化数据进行业务处理。本申请基于流式框架对数据进行处理,得到处理结果,实现数据流批一体化处理,提高数据处理的实时性。
公开/授权文献
- CN117609315A 一种数据处理方法、装置、设备及可读存储介质 公开/授权日:2024-02-27