-
公开(公告)号：CN113742333A
公开(公告)日：2021-12-03
申请号：CN202010477617.8
申请日：2020-05-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22 , G06F16/23 , G06F16/2455
Abstract: 本发明实施例提供了一种维表数据更新方法、装置及电子设备。该方法应用于流计算系统，包括：基于目标原始维表的同步日志，确定用于更新待更新维表的目标同步日志；针对目标同步日志中的每一日志条目，确定该日志条目对应的维表数据在更新前和更新后的存储位置的位置变化量；针对目标同步日志中的每一日志条目，从该日志条目对应的位置变化量指示的存储区域内，读取维表数据；针对目标同步日志中的每一日志条目，根据该日志条目对应的待利用维表数据，更新待更新维表中与该日志条目对应的维表数据条目。与现有技术相比，应用本发明实施例提供的方案，可以实现对流计算框架中所缓存的维表的更新，避免在进行数据关联时，关联到未更新到无效数据。
-
公开(公告)号：CN111190949A
公开(公告)日：2020-05-22
申请号：CN201811358065.8
申请日：2018-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据处理方法、装置、设备、介质，该方法应用于第一设备，第一设备用于任务调度，该方法包括：对获取的多条spark数据进行分区；针对每一分区，将该分区中的spark数据携带在存储任务中发送至用于执行任务的第二设备，所述第二设备与该分区对应，以使所述第二设备将所述存储任务携带的spark数据存储至分区缓存块并发送所述分区缓存块的标识B1至所述第一设备；接收并记录来自于各个第二设备发送的B1。存储粒度较细，存储时无需结构化处理，有利于提高存储时的处理速度。
-
公开(公告)号：CN116028515A
公开(公告)日：2023-04-28
申请号：CN202211682433.0
申请日：2022-12-26
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/23 , G06F16/2458 , G06F16/27 , G06F16/2455
Abstract: 本申请实施例提供的一种基于Flink框架的数据处理方法、装置及电子设备，应用于信息技术领域，通过获取待处理的第一数据和第一数据对应的第一时间戳；将第一数据缓存至预设数据集合中，并将第一时间戳缓存至有序时间队列中；当预设数据集合中数据的数量超过预设数量时，在有序时间队列中选取最前端的时间戳，得到第二时间戳；在预设数据集合中删除第二时间戳对应的数据；通过OVER AGGREGATE窗口对预设数据集合中的数据进行处理，得到当前的数据处理结果。通过本申请实施例的方法，在需要进行数据的删除时，只需要在有序时间队列中选取最前端的时间戳，并在预设数据集合中删除该时间戳对应的数据即可，无需遍历所有缓存的数据，从而提高数据的处理效率。
-
公开(公告)号：CN114065946A
公开(公告)日：2022-02-18
申请号：CN202111332326.0
申请日：2021-11-11
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06N20/00 , G06N5/04 , G06F16/22 , G06F16/2455 , H04L9/06
Abstract: 本发明实施例提供了一种基于Flink框架的推理方法、装置及Flink服务系统。其中，所述方法包括：所述第一消息子系统获取待推理数据；并根据所述待推理数据在各个特征维度上的特征值，生成事实表；将所述事实表分区至各个所述Flink工作节点；所述第二消息子系统获取模型数据；并根据所述模型数据，生成维表；将所述维表发送至各个所述Flink工作节点；所述Flink工作节点合并所述第一消息子系统分区至所述Flink工作节点的事实表以及所述第二消息子系统发送至所述Flink工作节点的维表，得到合并表；所述推理子系统根据所述合并表中模型数据与待推理数据之间的匹配关系，以SQL方式进行推理。可以提高推理系统的兼容性。
-
公开(公告)号：CN111177077A
公开(公告)日：2020-05-19
申请号：CN201811330460.5
申请日：2018-11-09
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据查询方法、装置、设备、介质，该方法应用于电子设备，包括：依据目标时间戳确定需存储的目标数据所处的目标时间区间；将所述目标时间区间发送至本设备加载的spark引擎，以由所述spark引擎依据所述目标时间区间从spark数据文件中获取目标数据并将所述目标数据转换为目标弹性分布式数据集RDD；从所述spark引擎获取目标RDD，并将所述目标RDD存储到所述spark引擎对应的RDD缓存空间中。解决因无法针对感兴趣时间段的数据进行操作而导致的操作效率低的问题。
-
Patent Agency Ranking
公开(公告)号：CN111177077B
公开(公告)日：2023-05-26
申请号：CN201811330460.5
申请日：2018-11-09
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据查询方法、装置、设备、介质，该方法应用于电子设备，包括：依据目标时间戳确定需存储的目标数据所处的目标时间区间；将所述目标时间区间发送至本设备加载的spark引擎，以由所述spark引擎依据所述目标时间区间从spark数据文件中获取目标数据并将所述目标数据转换为目标弹性分布式数据集RDD；从所述spark引擎获取目标RDD，并将所述目标RDD存储到所述spark引擎对应的RDD缓存空间中。解决因无法针对感兴趣时间段的数据进行操作而导致的操作效率低的问题。
-
公开(公告)号：CN112965994B
公开(公告)日：2022-05-03
申请号：CN202110350818.6
申请日：2021-03-31
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 陈小龙
IPC: G06F16/242 , G06F16/2455 , G06F16/23 , G06F16/25
Abstract: 本发明实施例提供了一种Flink框架的顺序写方法、装置及电子设备。其中，方法包括：将待写入目标节点的数据分批次缓存至目标节点对应的Flink State中，目标节点为多个待写入节点中除终端节点以外的任一节点，终端节点为多个待写入节点中按照预设顺序位于末位的待写入节点；依次针对目标节点对应的Flink State中缓存的每批数据，将该批数据通过flush函数刷新到目标节点；在成功将该批数据刷新到目标节点后，将该批数据作为目标节点的下游节点的待写入数据，通过collector上下文缓存至下游节点对应的Flink State中，下游节点为多个待写入节点中按照预设顺序位于目标节点下一位的待写入节点。以实现Flink框架能够将数据按照顺序写入多个待写入节点。
-
公开(公告)号：CN111190949B
公开(公告)日：2023-09-26
申请号：CN201811358065.8
申请日：2018-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据处理方法、装置、设备、介质，该方法应用于第一设备，第一设备用于任务调度，该方法包括：对获取的多条spark数据进行分区；针对每一分区，将该分区中的spark数据携带在存储任务中发送至用于执行任务的第二设备，所述第二设备与该分区对应，以使所述第二设备将所述存储任务携带的spark数据存储至分区缓存块并发送所述分区缓存块的标识B1至所述第一设备；接收并记录来自于各个第二设备发送的B1。存储粒度较细，存储时无需结构化处理，有利于提高存储时的处理速度。
-
公开(公告)号：CN113742333B
公开(公告)日：2023-08-04
申请号：CN202010477617.8
申请日：2020-05-29
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22 , G06F16/23 , G06F16/2455
Abstract: 本发明实施例提供了一种维表数据更新方法、装置及电子设备。该方法应用于流计算系统，包括：基于目标原始维表的同步日志，确定用于更新待更新维表的目标同步日志；针对目标同步日志中的每一日志条目，确定该日志条目对应的维表数据在更新前和更新后的存储位置的位置变化量；针对目标同步日志中的每一日志条目，从该日志条目对应的位置变化量指示的存储区域内，读取维表数据；针对目标同步日志中的每一日志条目，根据该日志条目对应的待利用维表数据，更新待更新维表中与该日志条目对应的维表数据条目。与现有技术相比，应用本发明实施例提供的方案，可以实现对流计算框架中所缓存的维表的更新，避免在进行数据关联时，关联到未更新到无效数据。
-
公开(公告)号：CN112965994A
公开(公告)日：2021-06-15
申请号：CN202110350818.6
申请日：2021-03-31
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 陈小龙
IPC: G06F16/242 , G06F16/2455 , G06F16/23 , G06F16/25
Abstract: 本发明实施例提供了一种Flink框架的顺序写方法、装置及电子设备。其中，方法包括：将待写入目标节点的数据分批次缓存至目标节点对应的Flink State中，目标节点为多个待写入节点中除终端节点以外的任一节点，终端节点为多个待写入节点中按照预设顺序位于末位的待写入节点；依次针对目标节点对应的Flink State中缓存的每批数据，将该批数据通过flush函数刷新到目标节点；在成功将该批数据刷新到目标节点后，将该批数据作为目标节点的下游节点的待写入数据，通过collector上下文缓存至下游节点对应的Flink State中，下游节点为多个待写入节点中按照预设顺序位于目标节点下一位的待写入节点。以实现Flink框架能够将数据按照顺序写入多个待写入节点。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.04 seconds)
