-
公开(公告)号：CN110532067A
公开(公告)日：2019-12-03
申请号：CN201810545759.6
申请日：2018-05-25
Applicant: 杭州海康威视数字技术股份有限公司
Abstract: 本发明公开了一种事件处理方法、装置、设备及存储介质，属于大数据技术领域。所述方法包括：当分布式系统中产生事件时，获取事件的事件类型；基于事件类型，从多个事件队列中确定目标事件队列，多个事件队列用于分别缓存多种事件类型的事件；将事件入列至目标事件队列中；当事件从目标事件队列出列时，对事件进行处理。本发明通过设计多种事件类型以及多个事件队列，将每个事件按照事件类型，分别入列至对应的事件队列中，提高了事件队列的数量，从而提高了事件队列的总容量，提升了分布式系统缓存事件的能力，极大地改善了分布式系统的性能，并降低分布式系统丢失事件的概率，提升分布式系统的稳定性和可用性。
-
公开(公告)号：CN113568877B
公开(公告)日：2024-08-02
申请号：CN202010349900.2
申请日：2020-04-28
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/17 , G06F16/16 , G06F16/182
Abstract: 本申请实施例提供了一种文件合并方法、装置、电子设备及存储介质，涉及大数据处理技术领域。所述方法应用于分布式存储系统，所述方法包括：查找文件大小不超过预设的单元存储阈值的文件，作为待合并文件，其中，所述单元存储阈值为：所述分布式存储系统中最小存储单元的存储空间的整数倍；对各个待合并文件进行分组，得到多个文件组，其中，每一文件组中待合并文件的文件大小之和不超过所述单元存储阈值；分别对每一待合并文件组内各个待合并文件进行合并，其中，每一待合并文件组为：所得到的文件组中包含的待合并文件数量大于1的文件组。应用本申请实施例提供的方案，可以减小文件对存储空间的消耗。
-
公开(公告)号：CN112052084B
公开(公告)日：2024-06-28
申请号：CN201910488288.4
申请日：2019-06-05
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 李锐
IPC: G06F9/50 , H04L67/141
Abstract: 本申请提供一种资源分配方法和计算机设备，可以使分布式计算系统的管理服务器在接收客户端发送的会话资源请求时，从本地预配置的会话资源池中获取空闲会话单元，将获取的空闲会话单元发送给客户端，以使客户端基于收到的空闲会话单元与本设备建立会话连接；并在收到客户端通过所述会话连接发送的计算资源请求时，从本地预配置的计算资源池中获取空闲计算单元，将获取的空闲计算单元通过会话连接发送给所述客户端。相比于现有技术，本申请可以使管理服务器将预先创建的会话单元和计算单元分配给客户端使用，不需要临时创建，从而降低了调度计算单元和会话单元的时间，提升了分布式计算系统整体的计算执行效率及调度效率。
-
公开(公告)号：CN114168625A
公开(公告)日：2022-03-11
申请号：CN202111498126.2
申请日：2021-12-09
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 李锐
IPC: G06F16/2453 , G06F11/34 , G06N3/04 , G06N3/08
Abstract: 本申请公开了一种语法树的优化方法，包括：获取用于数据库业务的第一语法树，提取所述第一语法树的特征数据，利用神经网络模型，对所述特征数据进行深度学习，得到所述第一语法树的表示向量、以及第一语法树的性能评估结果，在所述性能评估结果达到设定的评估阈值的情况下，获取当前表示向量所映射的第二语法树，得到第一语法树的优化结果。本申请实现了语法树的性能预估，提高了物理执行计划的性能，提高了性能评估结果的准确性。
-
Patent Agency Ranking
公开(公告)号：CN113094340A
公开(公告)日：2021-07-09
申请号：CN202110467163.0
申请日：2021-04-28
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/14 , G06F16/13 , G06F16/11 , G06F16/182
Abstract: 本申请实施例提供了基于Hudi的数据查询方法、装置、设备及存储介质，在Hudi的基础上建立ES表，可以通过ES表及ES索引得到查询结果，ES索引查询效率高于Hudi表的查询效率，因此能够增加基于Hudi的数据查询速度，提高查询性能。在谓词字段中即不存在主键字段又不存在分区字段，则查询ES索引得到谓词字段对应的主键字段和/或分区字段，从而能够增加基于Hudi的数据查询速度，提高查询性能。
-
公开(公告)号：CN112307122A
公开(公告)日：2021-02-02
申请号：CN202011193306.5
申请日：2020-10-30
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/21
Abstract: 本发明实施例提供了一种基于数据湖的数据管理系统及方法，涉及大数据技术领域。该系统包括：多个计算引擎、多个数据源以及虚拟引擎装置；每个计算引擎，用于向虚拟引擎装置发送数据访问请求和待访问的数据源的标识信息，并接收虚拟引擎装置反馈的与数据访问请求对应的响应结果；虚拟引擎装置，用于向具有标识信息的数据源发送数据访问请求；以及，将具有标识信息的数据源反馈的响应结果，反馈至发出数据访问请求的计算引擎；每个数据源，用于确定数据访问请求对应的响应结果，并将所确定的响应结果反馈给虚拟引擎装置。与现有技术相比，应用本发明实施例提供的方案，可以实现减少基于数据湖的数据管理系统构建过程中的重复开发工作。
-
公开(公告)号：CN113568877A
公开(公告)日：2021-10-29
申请号：CN202010349900.2
申请日：2020-04-28
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/17 , G06F16/16 , G06F16/182
Abstract: 本申请实施例提供了一种文件合并方法、装置、电子设备及存储介质，涉及大数据处理技术领域。所述方法应用于分布式存储系统，所述方法包括：查找文件大小不超过预设的单元存储阈值的文件，作为待合并文件，其中，所述单元存储阈值为：所述分布式存储系统中最小存储单元的存储空间的整数倍；对各个待合并文件进行分组，得到多个文件组，其中，每一文件组中待合并文件的文件大小之和不超过所述单元存储阈值；分别对每一待合并文件组内各个待合并文件进行合并，其中，每一待合并文件组为：所得到的文件组中包含的待合并文件数量大于1的文件组。应用本申请实施例提供的方案，可以减小文件对存储空间的消耗。
-
公开(公告)号：CN112307122B
公开(公告)日：2023-06-02
申请号：CN202011193306.5
申请日：2020-10-30
Applicant: 杭州海康威视数字技术股份有限公司
IPC: G06F16/27 , G06F16/242 , G06F16/21
Abstract: 本发明实施例提供了一种基于数据湖的数据管理系统及方法，涉及大数据技术领域。该系统包括：多个计算引擎、多个数据源以及虚拟引擎装置；每个计算引擎，用于向虚拟引擎装置发送数据访问请求和待访问的数据源的标识信息，并接收虚拟引擎装置反馈的与数据访问请求对应的响应结果；虚拟引擎装置，用于向具有标识信息的数据源发送数据访问请求；以及，将具有标识信息的数据源反馈的响应结果，反馈至发出数据访问请求的计算引擎；每个数据源，用于确定数据访问请求对应的响应结果，并将所确定的响应结果反馈给虚拟引擎装置。与现有技术相比，应用本发明实施例提供的方案，可以实现减少基于数据湖的数据管理系统构建过程中的重复开发工作。
-
公开(公告)号：CN112052084A
公开(公告)日：2020-12-08
申请号：CN201910488288.4
申请日：2019-06-05
Applicant: 杭州海康威视数字技术股份有限公司
Inventor： 李锐
Abstract: 本申请提供一种资源分配方法和计算机设备，可以使分布式计算系统的管理服务器在接收客户端发送的会话资源请求时，从本地预配置的会话资源池中获取空闲会话单元，将获取的空闲会话单元发送给客户端，以使客户端基于收到的空闲会话单元与本设备建立会话连接；并在收到客户端通过所述会话连接发送的计算资源请求时，从本地预配置的计算资源池中获取空闲计算单元，将获取的空闲计算单元通过会话连接发送给所述客户端。相比于现有技术，本申请可以使管理服务器将预先创建的会话单元和计算单元分配给客户端使用，不需要临时创建，从而降低了调度计算单元和会话单元的时间，提升了分布式计算系统整体的计算执行效率及调度效率。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.032 seconds)
