-
公开(公告)号：CN110798492B
公开(公告)日：2022-08-09
申请号：CN201810872737.0
申请日：2018-08-02
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H04L67/1097 , H04L67/1001 , H04L67/1004 , H04L67/1029
Abstract: 本申请公开了一种数据存储方法及装置、数据处理系统，属于存储技术领域。该方法包括：确定用于存储待存储数据的目标存储分片；获取所述目标存储分片的可用状态信息，所述可用状态信息用于指示存储分片是否可用；当所述可用状态信息指示所述目标存储分片不可用时，将所述待存储数据存储在其他可用的存储分片中。本发明提高了存储数据的稳定性。本发明用于存储数据。
-
公开(公告)号：CN110309257B
公开(公告)日：2021-04-16
申请号：CN201810210455.4
申请日：2018-03-14
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 邓长春
Abstract: 本申请实施例提供了一种文件读写打开方法及装置，读打开方法包括：获取针对目标索引文件的读入流的请求；判断已开启的读入流中是否存在目标索引文件的读入流；若不存在目标索引文件的读入流，且确定已开启的读入流和写出流的总个数达到第一预设阈值，则根据预设关闭流策略关闭文件流；文件流为读入流或写出流；开启新的读入流作为目标索引文件的目标读入流；将目标读入流标记为被占用，并根据目标读入流的引用读打开目标索引文件。应用本申请实施例，保证了句柄的分配，降低了由于句柄使用不合理引发ES的不健康服务状态的可能性。
-
公开(公告)号：CN110971627A
公开(公告)日：2020-04-07
申请号：CN201811143461.9
申请日：2018-09-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请是关于一种节点控制方法及装置、任务处理系统，所述任务处理系统包括：n个节点，n个节点组成m个节点集合，n＞m≥2；每个节点集合包括：管理节点和代理节点，任务处理系统中的所有管理节点包括：一个主管理节点和多个从管理节点，主管理节点用于在接收到处理任务的指令时，向与主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送指令；每个从管理节点用于在接收到主管理节点发送的指令时，向与每个从管理节点属于同一节点集合的代理节点发送指令；每个代理节点用于在接收到指令时，根据指令处理任务。本申请解决了相关技术中任务处理系统的处理效率较低的问题，本申请用于控制节点。
-
公开(公告)号：CN106326292A
公开(公告)日：2017-01-11
申请号：CN201510377701.1
申请日：2015-06-29
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 邓长春
IPC: G06F17/30
Abstract: 本发明公开了一种数据结构和文件聚合、读取方法及装置。该聚合方法包括：将小文件的数据、数据的长度信息、至少一个元数据、标识信息以及同步块聚合为小文件单元；将至少一个小文件单元合并为大文件，其中，所述同步块位于相邻的小文件单元之间。该读取方法包括：根据所述同步块确定所述小文件单元在所述大文件中的起始位置；根据所述小文件单元在所述大文件中的起始位置、所述数据的长度信息的长度、所述至少一个元数据的长度以及所述标识信息的长度，确定所述数据在所述大文件中的起始位置；根据所述数据在所述大文件中的起始位置以及数据的长度信息，读取所述小文件的数据。本发明中每个小文件单元均具有完备的描述系统，不必依赖聚合文件即可完成自解析。
-
公开(公告)号：CN110569252B
公开(公告)日：2023-04-07
申请号：CN201810470200.1
申请日：2018-05-16
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2453 , G06F16/2455 , G06F16/2457 , G06F16/2458
Abstract: 本申请实施例提供了一种数据处理系统及方法，数据处理系统包括：交互分析服务模块、调度服务模块和计算模块；交互分析服务模块接收各个客户端发送的数据请求，对接收的数据请求包括的处理逻辑进行处理，得到任务集，将得到的任务集缓存至任务集队列；主调度服务模块从任务集队列中获取任务集，将获取的任务集发送至计算模块；计算模块对接收的任务集进行计算，得到计算结果，将得到的计算结果发送给主调度模块；主调度服务模块对接收的计算结果进行封装，得到结果集，将得到的结果集缓存至结果集队列；交互分析服务模块从结果集队列中获取结果集，将获取的结果集发送给对应的客户端。应用本申请实施例，能够提高数据交互分析处理的并发性。
-
Patent Agency Ranking
公开(公告)号：CN106326292B
公开(公告)日：2020-05-19
申请号：CN201510377701.1
申请日：2015-06-29
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 邓长春
IPC: G06F16/13 , G06F16/16 , G06F16/178
Abstract: 本发明公开了一种数据结构和文件聚合、读取方法及装置。该聚合方法包括：将小文件的数据、数据的长度信息、至少一个元数据、标识信息以及同步块聚合为小文件单元；将至少一个小文件单元合并为大文件，其中，所述同步块位于相邻的小文件单元之间。该读取方法包括：根据所述同步块确定所述小文件单元在所述大文件中的起始位置；根据所述小文件单元在所述大文件中的起始位置、所述数据的长度信息的长度、所述至少一个元数据的长度以及所述标识信息的长度，确定所述数据在所述大文件中的起始位置；根据所述数据在所述大文件中的起始位置以及数据的长度信息，读取所述小文件的数据。本发明中每个小文件单元均具有完备的描述系统，不必依赖聚合文件即可完成自解析。
-
公开(公告)号：CN110569252A
公开(公告)日：2019-12-13
申请号：CN201810470200.1
申请日：2018-05-16
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/242 , G06F16/2453 , G06F16/2455 , G06F16/2457 , G06F16/2458
Abstract: 本申请实施例提供了一种数据处理系统及方法，数据处理系统包括：交互分析服务模块、调度服务模块和计算模块；交互分析服务模块接收各个客户端发送的数据请求，对接收的数据请求包括的处理逻辑进行处理，得到任务集，将得到的任务集缓存至任务集队列；主调度服务模块从任务集队列中获取任务集，将获取的任务集发送至计算模块；计算模块对接收的任务集进行计算，得到计算结果，将得到的计算结果发送给主调度模块；主调度服务模块对接收的计算结果进行封装，得到结果集，将得到的结果集缓存至结果集队列；交互分析服务模块从结果集队列中获取结果集，将获取的结果集发送给对应的客户端。应用本申请实施例，能够提高数据交互分析处理的并发性。
-
公开(公告)号：CN106682042A
公开(公告)日：2017-05-17
申请号：CN201510766583.3
申请日：2015-11-11
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F17/30
Abstract: 本发明实施例公开了一种关系数据缓存及查询方法及装置，该缓存方法包括：接收到待缓存的关系数据后，根据每个关联子数据与列簇中每列的对应关系，将每个关联子数据缓存到对应的列中，并根据每列是否缓存了该关系数据，更新位图索引中对应行的位图标识。由于在本发明实施例中基于位图索引和每列的对应关系表，进行关系数据缓存，并且关系数据被划分为多个关联子数据，分别进行缓存，因此提高了关系数据的缓存效率，并且该方法应用于电子设备的内存，提高了内存的利用率。
-
公开(公告)号：CN110597615B
公开(公告)日：2022-07-01
申请号：CN201810603360.9
申请日：2018-06-12
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 邓长春
Abstract: 本申请提供一种编码指令的处理方法和节点设备，该方法应用于Spark应用系统中的节点设备，包括：在获取Spark应用系统中可执行的物理计划后，判断是否将物理计划提交到Spark应用系统内设的Spark集群；当判断出将物理计划提交到Spark集群时，在本节点设备作为Spark应用系统的主设备时，将物理计划提交给Spark集群，在采用上述实现方式后，本申请有利于降低Spark应用系统处理作业时消耗的时长，从而有利于提高Spark应用系统处理作业时的效率。
-
公开(公告)号：CN106959960B
公开(公告)日：2020-07-03
申请号：CN201610016651.9
申请日：2016-01-11
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/28
Abstract: 本发明实施例提供了一种数据获取方法及装置，所述方法的一具体实施方式包括：接收数据获取请求，所述数据获取请求包括至少一个关键词；确定各关键词的维度属性，并根据各维度属性与各标识信息的对应关系及各关键词与各标识信息的对应关系，确定所述数据获取请求中包括的各关键词对应的标识信息及各关键词的维度属性对应的标识信息；根据预设合并规则，将所述各关键词对应的标识信息及各关键词的维度属性对应的标识信息合并，得到所述数据获取请求对应的至少一个目标键值；基于所述目标键值，从预先保存的包含有各键值与各数据对应关系的立方表中，获取与所述数据获取请求匹配的数据。本实施例能够提高数据获取效率。
-
-
-
-
-
-
-
-
-
Search Results
28
records
(took 0.04 seconds)
