一种数据处理方法、装置、设备及可读存储介质
摘要:
本申请实施例提供了一种数据处理方法、装置、设备及可读存储介质,基于目标数据源的类型和状态,从目标数据源获取目标数据和目标业务的信息,将目标数据以实时流数据形式存储至消息队列,采用流处理框架将目标数据持久化至数据湖。从目标源提取目标数据,并采用流处理框架对目标数据进行解析处理,得到标准化数据,目标源包括消息队列和数据湖中的一项。将标准化数据以实时流数据形式存储至消息队列,采用流处理框架将标准化数据持久化至数据湖。从目标源提取标准化数据,基于业务需求,采用流处理框架对标准化数据进行业务处理。本申请基于流式框架对数据进行处理,得到处理结果,实现数据流批一体化处理,提高数据处理的实时性。
0/0