-
公开(公告)号：CN110798492A
公开(公告)日：2020-02-14
申请号：CN201810872737.0
申请日：2018-08-02
Applicant: 杭州海康威视数字技术股份有限公司
IPC: H04L29/08
Abstract: 本申请公开了一种数据存储方法及装置、数据处理系统，属于存储技术领域。该方法包括：确定用于存储待存储数据的目标存储分片；获取所述目标存储分片的可用状态信息，所述可用状态信息用于指示存储分片是否可用；当所述可用状态信息指示所述目标存储分片不可用时，将所述待存储数据存储在其他可用的存储分片中。本发明提高了存储数据的稳定性。本发明用于存储数据。
-
公开(公告)号：CN110597615A
公开(公告)日：2019-12-20
申请号：CN201810603360.9
申请日：2018-06-12
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 邓长春
Abstract: 本申请提供一种编码指令的处理方法和节点设备，该方法应用于Spark应用系统中的节点设备，包括：在获取Spark应用系统中可执行的物理计划后，判断是否将物理计划提交到Spark应用系统内设的Spark集群；当判断出将物理计划提交到Spark集群时，在本节点设备作为Spark应用系统的主设备时，将物理计划提交给Spark集群，在采用上述实现方式后，本申请有利于降低Spark应用系统处理作业时消耗的时长，从而有利于提高Spark应用系统处理作业时的效率。
-
公开(公告)号：CN107818100B
公开(公告)日：2019-12-20
申请号：CN201610818671.8
申请日：2016-09-12
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2455
Abstract: 本发明实施例提供了一种SQL语句执行方法及装置，所述方法包括：接收待执行的目标SQL语句；针对各编译过程，在本地保存的该编译过程输入与输出的对应关系中，查找是否存在与所述目标SQL语句在该编译过程的输入匹配的目标输入；如果存在，将所述目标输入对应的目标输出作为所述目标SQL语句在该编译过程的输出；如果不存在，根据所述目标SQL语句在该编译过程的输入，对所述目标SQL语句进行相应的编译，得到所述目标SQL语句在该编译过程的输出，将该输出作为所述目标SQL语句在下一编译过程的输入；当得到所述目标SQL语句在物理优化阶段输出的物理执行树时，将所述物理执行树输入执行引擎执行。本发明实施例能够提高SQL语句的执行速度。
-
公开(公告)号：CN106682042B
公开(公告)日：2019-11-22
申请号：CN201510766583.3
申请日：2015-11-11
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/2455 , G06F16/28
Abstract: 本发明实施例公开了一种关系数据缓存及查询方法及装置，该缓存方法包括：接收到待缓存的关系数据后，根据每个关联子数据与列簇中每列的对应关系，将每个关联子数据缓存到对应的列中，并根据每列是否缓存了该关系数据，更新位图索引中对应行的位图标识。由于在本发明实施例中基于位图索引和每列的对应关系表，进行关系数据缓存，并且关系数据被划分为多个关联子数据，分别进行缓存，因此提高了关系数据的缓存效率，并且该方法应用于电子设备的内存，提高了内存的利用率。
-
公开(公告)号：CN110309257A
公开(公告)日：2019-10-08
申请号：CN201810210455.4
申请日：2018-03-14
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 邓长春
Abstract: 本申请实施例提供了一种文件读写打开方法及装置，读打开方法包括：获取针对目标索引文件的读入流的请求；判断已开启的读入流中是否存在目标索引文件的读入流；若不存在目标索引文件的读入流，且确定已开启的读入流和写出流的总个数达到第一预设阈值，则根据预设关闭流策略关闭文件流；文件流为读入流或写出流；开启新的读入流作为目标索引文件的目标读入流；将目标读入流标记为被占用，并根据目标读入流的引用读打开目标索引文件。应用本申请实施例，保证了句柄的分配，降低了由于句柄使用不合理引发ES的不健康服务状态的可能性。
-
Patent Agency Ranking
公开(公告)号：CN109033109A
公开(公告)日：2018-12-18
申请号：CN201710434019.0
申请日：2017-06-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F17/30
Abstract: 本申请公开了一种数据处理方法及系统，属于大数据领域，以动态生成有向无环图。所述方法包括：接收第一SQL操作指令；根据所述第一SQL操作指令生成第一有向无环图，所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划，所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边，所述输入节点对应所述事件源，每个所述中间节点对应一个数据集，所述输出节点用于输出结果数据，每个所述有向边对应一个运算逻辑；接收与所述第一有向无环图中指定节点对应的第二SQL操作指令；根据所述第二SQL操作指令对所述第一有向无环图进行修改。本申请用于大数据分析处理。
-
公开(公告)号：CN111078389B
公开(公告)日：2023-09-05
申请号：CN201811213300.2
申请日：2018-10-18
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明实施例提供了一种垃圾数据清理方法。该方法应用于分布计算框架中的Driver端，包括：根据监测得到的数量计算消息队列的压力值；判断压力值是否大于预设压力阈值；当判断出压力值大于预设压力阈值时，向分布式计算框架中的Worker端发送高压状态通知，以使得Worker端在监测到第一性能指标的指标值达到第一预设阈值时，触发Worker端的虚拟机中的GC程序，在监测到第二性能指标的指标值满足第一清理条件时，向Driver端发送触发指令；当接收到Worker端发送的触发指令时，触发Driver端中的垃圾清理器对Worker端中的垃圾数据进行清理。与现有技术相比，应用本发明实施例提供的方案，当Driver端的任务接收速率超过Worker端的任务处理速率时，可以及时对垃圾数据进行清理，避免Worker端内存泄露。
-
公开(公告)号：CN110971627B
公开(公告)日：2022-08-05
申请号：CN201811143461.9
申请日：2018-09-28
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本申请是关于一种节点控制方法及装置、任务处理系统，所述任务处理系统包括：n个节点，n个节点组成m个节点集合，n＞m≥2；每个节点集合包括：管理节点和代理节点，任务处理系统中的所有管理节点包括：一个主管理节点和多个从管理节点，主管理节点用于在接收到处理任务的指令时，向与主管理节点属于同一节点集合的代理节点和从管理节点中的至少一个节点发送指令；每个从管理节点用于在接收到主管理节点发送的指令时，向与每个从管理节点属于同一节点集合的代理节点发送指令；每个代理节点用于在接收到指令时，根据指令处理任务。本申请解决了相关技术中任务处理系统的处理效率较低的问题，本申请用于控制节点。
-
公开(公告)号：CN109033109B
公开(公告)日：2020-11-27
申请号：CN201710434019.0
申请日：2017-06-09
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/22 , G06F16/242 , G06F16/182
Abstract: 本申请公开了一种数据处理方法及系统，属于大数据领域，以动态生成有向无环图。所述方法包括：接收第一SQL操作指令；根据所述第一SQL操作指令生成第一有向无环图，所述第一有向无环图用于定义所述流式处理应用的逻辑处理计划，所述第一有向无环图包括输入节点、中间节点、输出节点和用于连接节点的有向边，所述输入节点对应所述事件源，每个所述中间节点对应一个数据集，所述输出节点用于输出结果数据，每个所述有向边对应一个运算逻辑；接收与所述第一有向无环图中指定节点对应的第二SQL操作指令；根据所述第二SQL操作指令对所述第一有向无环图进行修改。本申请用于大数据分析处理。
-
公开(公告)号：CN106959963A
公开(公告)日：2017-07-18
申请号：CN201610017764.0
申请日：2016-01-12
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F17/30
Abstract: 本发明实施例提供的一种数据查询方法、装置及系统，应用于分布式数据存储系统中的查询服务器，该方法包括：接收客户端发送的连接请求后，建立与客户端之间的通信连接；接收客户端发送查询请求，其中，查询请求中携带待查询字段的标识、字段值、针对待查询字段的查询条件以及待查询字段之间的查询关系；判断查询请求中携带的待查询字段的标识对应的待查询字段是否全部为预设字段；若为是，根据查询请求中携带的待查询字段的标识、待查询字段的字段值在该查询服务器中已存储的索引信息中进行查询，获得索引信息，并根据所获得的索引信息生成查询结果。应用本发明实施例，可以通过查询索引信息的方式快速获得待查询数据的查询结果。
-
-
-
-
-
-
-
-
-
Search Results
28
records
(took 0.035 seconds)
