公开(公告)号：CN111488222B

公开(公告)日：2023-04-07

申请号：CN201910073375.3

申请日：2019-01-25

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 郭峰

IPC: G06F9/54

Abstract: 本申请提供一种流聚合方法、装置及电子设备，该方法包括：响应于接收到的第一流聚合指令，获取第一流聚合指令指示的第一消息队列的第一消息和第二消息队列的第二消息，并依时序分别对第一消息和第二消息进行流聚合处理；检查对第一消息和第二消息的处理时差是否达到预设的时差阈值；其中，处理时差为处理中的第一消息携带的事件时间与第二消息携带的事件时间的差值；若是，向处理速度慢的消息队列新增用于流聚合处理的线程，或者，减少用于对处理速度快的消息队列进行流聚合处理的线程；对所述第一消息的处理结果和所述第二消息的处理结果进行关联操作。在本申请中，有效地实现了对两个消息队列的流聚合处理结果的关联操作，更好地呈现处理结果。

公开(公告)号：CN110597890B

公开(公告)日：2022-04-05

申请号：CN201810515496.4

申请日：2018-05-25

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 郭峰

IPC: G06F16/25

Abstract: 本发明公开了一种数据采集系统、方法、节点设备及存储介质，属于大数据技术领域。数据采集系统包括多个数据处理模块；数据采集系统中第一个数据处理模块用于当获取到数据源的任一批数据时，指示数据源提供下一批数据；数据采集系统中任一个数据处理模块用于对已接收到的任一批数据执行对应的数据处理操作时，接收下一批数据；数据采集系统中最后一个数据处理模块用于将处理后的数据存储至第一存储源中。本发明设计了全异步式的系统架构，保证数据采集系统可以同时针对多批数据进行处理，避免数据处理模块要等待其他数据处理模块执行数据处理操作完成后才能开始处理数据的情况，提高了数据采集的效率。

公开(公告)号：CN111221469B

公开(公告)日：2021-05-11

申请号：CN201811427828.X

申请日：2018-11-27

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 张泉锦 ,  郭峰

IPC: G06F3/06 ,  G06F16/245

Abstract: 本申请提供了一种同步缓存数据的方法、装置和系统，属于数据存储技术领域。该方法包括：在进行数据同步时，第二设备可以向第一设备发送数据同步请求，并在其中携带第二设备缓存的分片的名称，第一设备接收到后，可以确定本次接收该数据同步请求的与上次接收第二设备发送的数据同步请求的时间间隔，然后第一设备可以根据该时间间隔、第二设备缓存的分片的名称和第二设备对应的预设缓存清空时长，在第二设备缓存的分片的名称中，确定待清空的分片的名称、待更新的分片的名称和无需更新的分片的名称，然后通知给第二设备，第二设备可以进行对待清空的分片的进行清空处理，对待更新的分片进行更新处理。采用本申请，可以提供一种同步缓存数据的方法。

公开(公告)号：CN109033109B

公开(公告)日：2020-11-27

申请号：CN201710434019.0

申请日：2017-06-09

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 陈国栋 ,  管国辰 ,  郭峰 ,  邓长春

IPC: G06F16/22 ,  G06F16/242 ,  G06F16/182

Abstract: 本申请公开了一种数据处理方法及系统，属于大数据领域，以动态生成有向无环图。所述方法包括：接收第一SQL操作指令；根据所述第一SQL操作指令生成第一有向无环图，所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划，所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边，所述输入节点对应所述事件源，每个所述中间节点对应一个数据集，所述输出节点用于输出结果数据，每个所述有向边对应一个运算逻辑；接收与所述第一有向无环图中指定节点对应的第二SQL操作指令；根据所述第二SQL操作指令对所述第一有向无环图进行修改。本申请用于大数据分析处理。

公开(公告)号：CN106959963A

公开(公告)日：2017-07-18

申请号：CN201610017764.0

申请日：2016-01-12

Applicant: 杭州海康威视数字技术股份有限公司

Inventor： 郭峰 ,  管国辰 ,  陈国栋 ,  邓长春

IPC: G06F17/30

Abstract: 本发明实施例提供的一种数据查询方法、装置及系统，应用于分布式数据存储系统中的查询服务器，该方法包括：接收客户端发送的连接请求后，建立与客户端之间的通信连接；接收客户端发送查询请求，其中，查询请求中携带待查询字段的标识、字段值、针对待查询字段的查询条件以及待查询字段之间的查询关系；判断查询请求中携带的待查询字段的标识对应的待查询字段是否全部为预设字段；若为是，根据查询请求中携带的待查询字段的标识、待查询字段的字段值在该查询服务器中已存储的索引信息中进行查询，获得索引信息，并根据所获得的索引信息生成查询结果。应用本发明实施例，可以通过查询索引信息的方式快速获得待查询数据的查询结果。