-
公开(公告)号:CN113535770B
公开(公告)日:2024-06-14
申请号:CN202010324062.3
申请日:2020-04-22
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2453 , G06F16/2455
Abstract: 本申请公开了一种数据查询的方法和装置,属于数据库技术领域。所述方法包括:接收终端发送的数据查询请求,其中,所述数据查询请求中携带有待查询度量项、至少一个待查询标签和数据写入时间信息;在存储的预设度量项、预设标签键的标签值和时间线的对应关系中,确定所述待查询度量项和所述至少一个待查询标签中的标签值共同对应的目标时间线;基于所述数据写入时间信息和所述目标时间线,生成目标行键;基于所述目标行键对应的数据,向所述终端返回查询结果数据。本申请可以提高数据查询效率。
-
公开(公告)号:CN112732714A
公开(公告)日:2021-04-30
申请号:CN202011619878.5
申请日:2020-12-30
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22 , G06F16/2455
Abstract: 本发明公开了一种基于Hbase的时序数据存储方法、装置及设备,该方法包括:获取数据源所产生的一条时序数据;对多个数据标签、至少一个监控指标分别进行排序得到标签排序结果、指标排序结果,并与数据名称相关联得到排序关系;按照预设时间间隔划分时间戳,并记录数据产生时间所对应的时间戳;将数据名称、识别标签和所述数据产生时间所对应的时间戳组成行键,将所述多个数据标签中除识别标签以外的数据标签按照标签排序结果组成标签列簇的列,将所述至少一个监控指标按照指标排序结果组成属性列簇的列,得到多值模型存储结构;将多值模型存储结构、排序关系存储至HBase数据库中。应用本发明能够让数据标签与行键解耦,避免冗余存储。
-
公开(公告)号:CN110519319B
公开(公告)日:2022-02-11
申请号:CN201810494401.5
申请日:2018-05-22
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H04L67/1097
Abstract: 本申请是关于一种分裂分区的方法及装置,属于通信领域。所述方法包括:根据目标时间段开始前Hbase表中已存储的数据记录,预测在所述目标时间段内需要占用所述Hbase表中的分区的第一数目;当所述第一数目大于第二数目时,从所述第二数目个分区中获取存储率超过预设存储率阈值的分区作为目标分区,所述第二数目个分区是预先分配的在所述目标时间段内需要占用所述Hbase表中的分区;当获取的目标分区的数目小于或等于第三数目时,在所述目标分区对应的分裂时间分裂所述目标分区,所述分裂时间晚于获取所述目标分区的获取时间,所述第三数目等于所述第一数目减去所述第二数目。本申请能够减小受影响的客户端数目。
-
公开(公告)号:CN115878684A
公开(公告)日:2023-03-31
申请号:CN202111155015.1
申请日:2021-09-29
Applicant: 杭州海康威视数字技术股份有限公司
Inventor: 王玉华
IPC: G06F16/2458
Abstract: 本申请提供一种时序数据分布式查询方法、装置、电子设备及存储介质,该方法包括:接收时序数据查询请求,所述时序数据查询请求中包括待查询数据的开始时间、结束时间、数据类型;当所述开始时间和所述结束时间覆盖的目标时间范围超过预设单位时长时,依据所述开始时间、所述结束时间、所述预设单位时长,以及可用集群节点数,对所述时序数据查询请求进行分解,得到N1个子任务;将所述N1个子任务,分配给N1个集群节点,以使所述N1个集群节点依据所分配的子任务,从时序数据库中查询对应的时序数据;接收所述N1个集群节点返回的查询结果,并将接收到的查询结果返回给所述时序数据查询请求的发起方设备。该方法可以。
-
公开(公告)号:CN110519319A
公开(公告)日:2019-11-29
申请号:CN201810494401.5
申请日:2018-05-22
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H04L29/08
Abstract: 本申请是关于一种分裂分区的方法及装置,属于通信领域。所述方法包括:根据目标时间段开始前Hbase表中已存储的数据记录,预测在所述目标时间段内需要占用所述Hbase表中的分区的第一数目;当所述第一数目大于第二数目时,从所述第二数目个分区中获取存储率超过预设存储率阈值的分区作为目标分区,所述第二数目个分区是预先分配的在所述目标时间段内需要占用所述Hbase表中的分区;当获取的目标分区的数目小于或等于第三数目时,在所述目标分区对应的分裂时间分裂所述目标分区,所述分裂时间晚于获取所述目标分区的获取时间,所述第三数目等于所述第一数目减去所述第二数目。本申请能够减小受影响的客户端数目。
-
公开(公告)号:CN113761013B
公开(公告)日:2024-08-09
申请号:CN202010504704.8
申请日:2020-06-05
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2458 , G06F16/22
Abstract: 本申请公开了一种时序数据预统计方法、装置及存储介质,属于大数据处理领域。在本申请中,时序数据表包括的时序数据按照元数据和数据点的格式存储,元数据用于描述相应的数据点以及相应的数据采集端,数据点包括多个采集时间以及在每个采集时间采集的一个或多个监测数据,且用时序数据描述表来存储时序数据表中的时序数据的描述信息。也即是,本申请方案中对时序数据的存储类型进行了结构优化,每条监测记录可以包括一个数据采集端在多个采集时间采集的各个监测数据,这样,遍历一个表项可以获取更多的数据,提高预统计中的检索效率,且预统计时无需进行表关联,大大提高预统计效率。
-
公开(公告)号:CN111813782B
公开(公告)日:2024-07-26
申请号:CN202010674620.9
申请日:2020-07-14
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22 , G06F16/2458
Abstract: 本申请公开了一种时序数据的存储方法,该方法包括,将待存储时序数据处理为定义的数据结构,并组装成入库数据;其中,数据结构至少包括时序数据的测量名称、标签键、度量、时间精度字段;所述入库数据以至少包括测量名称映射码、时间戳、标签键所包括标签值的映射码为数据点中的行键,以相对时间戳的时间差为数据点中的限定符,其中,时间差与时间精度相关;将所述入库数据写入时序数据库。本申请提高了数据点中行键中可包含的标签数据,实现了时序数据的多值存储,避免了拆分时序数据导致的存储压力。
-
公开(公告)号:CN112732714B
公开(公告)日:2023-05-09
申请号:CN202011619878.5
申请日:2020-12-30
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22 , G06F16/2455
Abstract: 本发明公开了一种基于Hbase的时序数据存储方法、装置及设备,该方法包括:获取数据源所产生的一条时序数据;对多个数据标签、至少一个监控指标分别进行排序得到标签排序结果、指标排序结果,并与数据名称相关联得到排序关系;按照预设时间间隔划分时间戳,并记录数据产生时间所对应的时间戳;将数据名称、识别标签和所述数据产生时间所对应的时间戳组成行键,将所述多个数据标签中除识别标签以外的数据标签按照标签排序结果组成标签列簇的列,将所述至少一个监控指标按照指标排序结果组成属性列簇的列,得到多值模型存储结构;将多值模型存储结构、排序关系存储至HBase数据库中。应用本发明能够让数据标签与行键解耦,避免冗余存储。
-
公开(公告)号:CN113535770A
公开(公告)日:2021-10-22
申请号:CN202010324062.3
申请日:2020-04-22
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2453 , G06F16/2455
Abstract: 本申请公开了一种数据查询的方法和装置,属于数据库技术领域。所述方法包括:接收终端发送的数据查询请求,其中,所述数据查询请求中携带有待查询度量项、至少一个待查询标签和数据写入时间信息;在存储的预设度量项、预设标签键的标签值和时间线的对应关系中,确定所述待查询度量项和所述至少一个待查询标签中的标签值共同对应的目标时间线;基于所述数据写入时间信息和所述目标时间线,生成目标行键;基于所述目标行键对应的数据,向所述终端返回查询结果数据。本申请可以提高数据查询效率。
-
公开(公告)号:CN113761013A
公开(公告)日:2021-12-07
申请号:CN202010504704.8
申请日:2020-06-05
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2458 , G06F16/22
Abstract: 本申请公开了一种时序数据预统计方法、装置及存储介质,属于大数据处理领域。在本申请中,时序数据表包括的时序数据按照元数据和数据点的格式存储,元数据用于描述相应的数据点以及相应的数据采集端,数据点包括多个采集时间以及在每个采集时间采集的一个或多个监测数据,且用时序数据描述表来存储时序数据表中的时序数据的描述信息。也即是,本申请方案中对时序数据的存储类型进行了结构优化,每条监测记录可以包括一个数据采集端在多个采集时间采集的各个监测数据,这样,遍历一个表项可以获取更多的数据,提高预统计中的检索效率,且预统计时无需进行表关联,大大提高预统计效率。
-
-
-
-
-
-
-
-
-