-
公开(公告)号：CN111177077B
公开(公告)日：2023-05-26
申请号：CN201811330460.5
申请日：2018-11-09
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据查询方法、装置、设备、介质，该方法应用于电子设备，包括：依据目标时间戳确定需存储的目标数据所处的目标时间区间；将所述目标时间区间发送至本设备加载的spark引擎，以由所述spark引擎依据所述目标时间区间从spark数据文件中获取目标数据并将所述目标数据转换为目标弹性分布式数据集RDD；从所述spark引擎获取目标RDD，并将所述目标RDD存储到所述spark引擎对应的RDD缓存空间中。解决因无法针对感兴趣时间段的数据进行操作而导致的操作效率低的问题。
-
Patent Agency Ranking
公开(公告)号：CN111190949B
公开(公告)日：2023-09-26
申请号：CN201811358065.8
申请日：2018-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据处理方法、装置、设备、介质，该方法应用于第一设备，第一设备用于任务调度，该方法包括：对获取的多条spark数据进行分区；针对每一分区，将该分区中的spark数据携带在存储任务中发送至用于执行任务的第二设备，所述第二设备与该分区对应，以使所述第二设备将所述存储任务携带的spark数据存储至分区缓存块并发送所述分区缓存块的标识B1至所述第一设备；接收并记录来自于各个第二设备发送的B1。存储粒度较细，存储时无需结构化处理，有利于提高存储时的处理速度。
-
公开(公告)号：CN110851435A
公开(公告)日：2020-02-28
申请号：CN201810878972.9
申请日：2018-08-03
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22
Abstract: 本申请是关于一种存储数据的方法及装置，属于监控领域。所述方法包括：从Kafka中获取待存储数据，所述待存储数据包括用户标识；根据所述用户标识，从用户标识与有向无环图Dag的对应关系中获取对应的Dag，所述Dag是根据多个数据库的写入顺序建立的，所述多个数据库的写入顺序是所述用户标识对应的用户配置的，所述Dag中的节点用于存储数据库的标识，所述节点的至少一个子节点用于存储写入顺序位于所述数据库之后的数据库的标识；根据所述Dag中包括的各数据库的写入顺序，将所述待存储数据存储到所述各数据库中。本申请能够实现按照用户需要的数据库存储顺序将数据存储到数据库中。
-
公开(公告)号：CN111190949A
公开(公告)日：2020-05-22
申请号：CN201811358065.8
申请日：2018-11-15
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据处理方法、装置、设备、介质，该方法应用于第一设备，第一设备用于任务调度，该方法包括：对获取的多条spark数据进行分区；针对每一分区，将该分区中的spark数据携带在存储任务中发送至用于执行任务的第二设备，所述第二设备与该分区对应，以使所述第二设备将所述存储任务携带的spark数据存储至分区缓存块并发送所述分区缓存块的标识B1至所述第一设备；接收并记录来自于各个第二设备发送的B1。存储粒度较细，存储时无需结构化处理，有利于提高存储时的处理速度。
-
公开(公告)号：CN110851435B
公开(公告)日：2022-02-11
申请号：CN201810878972.9
申请日：2018-08-03
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22
Abstract: 本申请是关于一种存储数据的方法及装置，属于监控领域。所述方法包括：从Kafka中获取待存储数据，所述待存储数据包括用户标识；根据所述用户标识，从用户标识与有向无环图Dag的对应关系中获取对应的Dag，所述Dag是根据多个数据库的写入顺序建立的，所述多个数据库的写入顺序是所述用户标识对应的用户配置的，所述Dag中的节点用于存储数据库的标识，所述节点的至少一个子节点用于存储写入顺序位于所述数据库之后的数据库的标识；根据所述Dag中包括的各数据库的写入顺序，将所述待存储数据存储到所述各数据库中。本申请能够实现按照用户需要的数据库存储顺序将数据存储到数据库中。
-
公开(公告)号：CN111177077A
公开(公告)日：2020-05-19
申请号：CN201811330460.5
申请日：2018-11-09
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明提供一种数据存储及数据查询方法、装置、设备、介质，该方法应用于电子设备，包括：依据目标时间戳确定需存储的目标数据所处的目标时间区间；将所述目标时间区间发送至本设备加载的spark引擎，以由所述spark引擎依据所述目标时间区间从spark数据文件中获取目标数据并将所述目标数据转换为目标弹性分布式数据集RDD；从所述spark引擎获取目标RDD，并将所述目标RDD存储到所述spark引擎对应的RDD缓存空间中。解决因无法针对感兴趣时间段的数据进行操作而导致的操作效率低的问题。
-
-
-
-
-
Search Results
6
records
(took 0.032 seconds)
