-
公开(公告)号:CN119988442A
公开(公告)日:2025-05-13
申请号:CN202411891688.7
申请日:2024-12-20
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/2455 , G06F16/242 , G06F9/50
Abstract: 本发明提供了一种多源异构数据联邦查询系统、保障及访问方法,其中系统包括:多个项目、计算组管理模块、数据源管理模块、项目管理模块和查询管理模块;每个项目包含计算组和数据源;各个项目之间的计算组和数据源相互隔离且互不影响;项目管理模块用于多用户隔离和访问控制;计算组管理模块用于构建、动态调整计算组以及保障不同计算组资源相互隔离;数据源管理模块用于提供数据源的增、删、改、查和分配管理,支持向导式创建数据源连接;查询管理模块提供跨数据源的查询编辑控制台。而本发明提出的多计算组模式,每个计算组包含主备两个协调节点,在资源管理方面更具灵活性,且查询任务被多个计算组分摊,有效避免了单个协调节点成为性能瓶颈。
-
公开(公告)号:CN116028294A
公开(公告)日:2023-04-28
申请号:CN202111240662.2
申请日:2021-10-25
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种可配置规则化日志切分与报警监控的系统及方法,包括:模块M1:在日志收集任务时,配置日志源,基于配置的日志源抓取原始日志;模块M2:在日志切分任务时,将抓取的原始日志根据日志清洗规则进行日志切分;模块M3:在配置告警任务时,选择切分后的日志,并配置告警规则以及告警对象,从而实现了一个或多个相关联的报警任务。本发明可以自定义监控系统运行的日志,自定义日志切分规则、设定报警规则,并发送告警信息。保障了相关人员对系统的自动化监控,以及对问题的及时响应和排查。
-
公开(公告)号:CN118051397A
公开(公告)日:2024-05-17
申请号:CN202211426670.0
申请日:2022-11-15
Applicant: 上海宝信软件股份有限公司
IPC: G06F11/30 , H04L41/0631 , G06F21/55
Abstract: 本发明提供了一种数据中台数据流转监控系统及方法,包括:数据处理和获取模块:基于ELK架构实现数据全生命周期流动过程中的日志记录;数据溯源模块:基于记录的数据全生命周期流动过程中的日志通过可视化方式展示数据的执行记录和被调用记录。本发明通过对关键数据的使用、操作、访问日志进行记录,实现平台数据审计与监测的功能,保证数据在流动过程中安全,并以此为基础构建溯源能力,使平台和大数据中心的数据更安全。
-
公开(公告)号:CN110019085A
公开(公告)日:2019-07-16
申请号:CN201711046071.5
申请日:2017-10-31
Applicant: 上海宝信软件股份有限公司
IPC: G06F16/182 , G06F16/22 , G06F16/27 , G06F16/25
Abstract: 本发明提供了一种基于HBase的分布式时序数据库,存储结构为三元组:TagID,Timestamp,TagVTQ;分布式时序数据库中的分布式文件数据库HBase的行键由TagID和BaseTime组成,BaseTime=Timestamp/TimeSpan,TimeSpan为分布式时序数据库的行时间跨度,HBase的列族中每个HBase单元格保存至少一个TagVTQ。本发明可有效的解决传统的实时数据库在应对工业大数据在可靠性、扩展性、检索和其上的计算支撑能力的不足,有效地提升企业的智能化和信息化水平。
-
公开(公告)号:CN107766147A
公开(公告)日:2018-03-06
申请号:CN201610712300.1
申请日:2016-08-23
Applicant: 上海宝信软件股份有限公司
CPC classification number: G06F9/5088 , G06F17/30575 , G06F2209/5017
Abstract: 本发明提供了一种分布式的数据分析任务调度系统,包括:分布式数据存储服务模块、基于资源的分布式任务调度引擎模块、分布式消息队列模块、分布式应用程序协调服务模块、自动执行引擎模块。本发明提出了一种利用R语言进行数据分析的分布式任务调度架构,利用资源管理平台实现分布式资源管理,进而实现R语言分析的分布式调度执行;利用自动调度引擎,实现数据分片的任务自动调用,符合工业过程数据跟踪的自动化分析需求。
-
公开(公告)号:CN118860269A
公开(公告)日:2024-10-29
申请号:CN202410102498.6
申请日:2024-01-24
Applicant: 上海宝信软件股份有限公司
IPC: G06F3/06 , G06F9/455 , G06F9/50 , G06F16/22 , G06F16/182
Abstract: 本发明提供了一种租户级别资源隔离的数据写入通道管理方法和系统,包括:步骤1:部署负载均衡集群;步骤2:进行多租户隔离;步骤3:数据通过Rest网关写入后,被送到数据缓存层,然后通过Spark Streaming程序消费并写入HDFS,将数据缓存层和Spark Streaming程序的组合作为数据写入通道;步骤4:设置消费组和消费实例,从而改变数据消费速度;步骤5:部署文件合并服务,负责监控文件数量和大小,当文件个数或大小达到预设阈值,则自动触发小文件合并。本发明可以按需配置计算资源,提高了数据吞吐量和写入的效率,支持租户级别的资源隔离配置。
-
公开(公告)号:CN116028485A
公开(公告)日:2023-04-28
申请号:CN202111242169.4
申请日:2021-10-25
Applicant: 上海宝信软件股份有限公司
Abstract: 本发明提供了一种数据动态自适应的分区管理数据仓库构建方法和系统,包括:步骤1:构建数据仓库的存储结构;步骤2:通过Rest网关向存储结构写入数据,并对写入数据进行分层;步骤3:根据热数据层文件个数,将批处理数据归并热数据至温数据层;步骤4:根据温数据层文件个数,对批处理数据温数据层进行内部归并;步骤5:根据温数据层文件大小,将批处理数据进行数据沉淀至冷数据层。本发明在保障了高存储性能的前提下,有效拓宽了分布式存储的适应场景。
-
-
-
-
-
-