公开(公告)号：CN116028515A

公开(公告)日：2023-04-28

申请号：CN202211682433.0

申请日：2022-12-26

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 周利 ,  浦世亮 ,  陈小龙

IPC: G06F16/23 ,  G06F16/2458 ,  G06F16/27 ,  G06F16/2455

Abstract: 本申请实施例提供的一种基于Flink框架的数据处理方法、装置及电子设备，应用于信息技术领域，通过获取待处理的第一数据和第一数据对应的第一时间戳；将第一数据缓存至预设数据集合中，并将第一时间戳缓存至有序时间队列中；当预设数据集合中数据的数量超过预设数量时，在有序时间队列中选取最前端的时间戳，得到第二时间戳；在预设数据集合中删除第二时间戳对应的数据；通过OVER AGGREGATE窗口对预设数据集合中的数据进行处理，得到当前的数据处理结果。通过本申请实施例的方法，在需要进行数据的删除时，只需要在有序时间队列中选取最前端的时间戳，并在预设数据集合中删除该时间戳对应的数据即可，无需遍历所有缓存的数据，从而提高数据的处理效率。

公开(公告)号：CN114065946A

公开(公告)日：2022-02-18

申请号：CN202111332326.0

申请日：2021-11-11

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 陈小龙 ,  周利

IPC: G06N20/00 ,  G06N5/04 ,  G06F16/22 ,  G06F16/2455 ,  H04L9/06

Abstract: 本发明实施例提供了一种基于Flink框架的推理方法、装置及Flink服务系统。其中，所述方法包括：所述第一消息子系统获取待推理数据；并根据所述待推理数据在各个特征维度上的特征值，生成事实表；将所述事实表分区至各个所述Flink工作节点；所述第二消息子系统获取模型数据；并根据所述模型数据，生成维表；将所述维表发送至各个所述Flink工作节点；所述Flink工作节点合并所述第一消息子系统分区至所述Flink工作节点的事实表以及所述第二消息子系统发送至所述Flink工作节点的维表，得到合并表；所述推理子系统根据所述合并表中模型数据与待推理数据之间的匹配关系，以SQL方式进行推理。可以提高推理系统的兼容性。