公开(公告)号：CN116048866A

公开(公告)日：2023-05-02

申请号：CN202310208894.2

申请日：2023-03-07

Applicant: 浙江鹏信信息科技股份有限公司

Inventor： 徐云华 ,  祝天鹏 ,  邹祥 ,  国毓芯 ,  章炎炳 ,  胡珂 ,  林建洪

IPC: G06F11/07 ,  G06F9/54 ,  G06F16/2455 ,  G06F16/2458

Abstract: 本发明涉及基于实时流计算引擎的数据故障检测方法、系统及介质，其方法包括以下步骤：S1、在数据流进入Flink程序之后，对每一条事件打上当前时间戳标签并根据事件及其时间戳加密生成一个通用唯一识别码；S2、根据事件对应的通用唯一识别码生成事件状态缓存，并按时间戳排序；S3、在每个算子链的位置读取数据以获取slot的ID和事件，并根据事件对应的通用唯一识别码将其写入事件状态缓存；S4、判断事件状态缓存是否满足预设释放条件；若是，则转至步骤S5；S5、判断满足释放条件的目标事件是否完成整个流处理流程；若否，则目标事件标记为异常事件。本发明实现数据故障的自动化检测，有效提升数据故障检测的效率和精度。

公开(公告)号：CN116048866B

公开(公告)日：2023-06-09

申请号：CN202310208894.2

申请日：2023-03-07

Applicant: 浙江鹏信信息科技股份有限公司

Inventor： 徐云华 ,  祝天鹏 ,  邹祥 ,  国毓芯 ,  章炎炳 ,  胡珂 ,  林建洪

IPC: G06F11/07 ,  G06F9/54 ,  G06F16/2455 ,  G06F16/2458

Abstract: 本发明涉及基于实时流计算引擎的数据故障检测方法、系统及介质，其方法包括以下步骤：S1、在数据流进入Flink程序之后，对每一条事件打上当前时间戳标签并根据事件及其时间戳加密生成一个通用唯一识别码；S2、根据事件对应的通用唯一识别码生成事件状态缓存，并按时间戳排序；S3、在每个算子链的位置读取数据以获取slot的ID和事件，并根据事件对应的通用唯一识别码将其写入事件状态缓存；S4、判断事件状态缓存是否满足预设释放条件；若是，则转至步骤S5；S5、判断满足释放条件的目标事件是否完成整个流处理流程；若否，则目标事件标记为异常事件。本发明实现数据故障的自动化检测，有效提升数据故障检测的效率和精度。