-
公开(公告)号:CN119473441A
公开(公告)日:2025-02-18
申请号:CN202411329064.6
申请日:2024-09-23
Applicant: 太极计算机股份有限公司
IPC: G06F9/448 , G06F16/215 , G06F16/25
Abstract: 本发明提供一种基于组件化的流式数据处理方法,属于数据处理技术领域,包括:通过数据源组件读取接收到的实时流式数据;通过算子组件对接收到的实时流式数据进行第一数据处理,确定第一流式数据;通过窗口操作组件对第一流式数据进行第二数据处理,确定第三流式数据;通过连接器组件将第三流式数据发送至目标系统或外部存储,实现数据的输出或存储。可以提高流式数据质量、一致性和完整性,根据需求轻松调整、替换或扩展各个组件,提高流式数据处理的灵活性、及时性和准确性,确保数据输出或存储的高效性与可靠性,实现流式数据处理的实时分析、扩展性和可维护性。
-
公开(公告)号:CN119357399A
公开(公告)日:2025-01-24
申请号:CN202411395579.6
申请日:2024-10-08
Applicant: 北京市大数据中心 , 太极计算机股份有限公司
IPC: G06F16/353 , G06F16/31 , G06F18/10 , G06F18/213 , G06F18/241 , G06N3/0464 , G06N3/0985
Abstract: 本公开提出了一种数据处理方法、装置、电子设备及存储介质,涉及数据处理技术领域,该方法包括:获取待处理的目标数据;对目标数据按照预设的处理规则进行预处理;将预处理后的目标数据进行特征提取,以获取多个目标特征;基于候选特征进行分类,并按照分类将对目标数据进行上链存储。由此通过分类,可以将目标数据按照分类进行分开存储,方便后续从区块链中进行数据获取时,可根据需求直接从对应分类进行数据获取,提升用户的使用体验。
-