公开(公告)号：CN119988442A

公开(公告)日：2025-05-13

申请号：CN202411891688.7

申请日：2024-12-20

Applicant: 上海宝信软件股份有限公司

Inventor： 朱森 ,  万英杰 ,  李亚贝 ,  朱东江 ,  欧阳天

IPC: G06F16/2455 ,  G06F16/242 ,  G06F9/50

Abstract: 本发明提供了一种多源异构数据联邦查询系统、保障及访问方法，其中系统包括：多个项目、计算组管理模块、数据源管理模块、项目管理模块和查询管理模块；每个项目包含计算组和数据源；各个项目之间的计算组和数据源相互隔离且互不影响；项目管理模块用于多用户隔离和访问控制；计算组管理模块用于构建、动态调整计算组以及保障不同计算组资源相互隔离；数据源管理模块用于提供数据源的增、删、改、查和分配管理，支持向导式创建数据源连接；查询管理模块提供跨数据源的查询编辑控制台。而本发明提出的多计算组模式，每个计算组包含主备两个协调节点，在资源管理方面更具灵活性，且查询任务被多个计算组分摊，有效避免了单个协调节点成为性能瓶颈。

公开(公告)号：CN118860269A

公开(公告)日：2024-10-29

申请号：CN202410102498.6

申请日：2024-01-24

Applicant: 上海宝信软件股份有限公司

Inventor： 朱森 ,  李亚贝 ,  黄明 ,  万英杰 ,  李帅

IPC: G06F3/06 ,  G06F9/455 ,  G06F9/50 ,  G06F16/22 ,  G06F16/182

Abstract: 本发明提供了一种租户级别资源隔离的数据写入通道管理方法和系统，包括：步骤1：部署负载均衡集群；步骤2：进行多租户隔离；步骤3：数据通过Rest网关写入后，被送到数据缓存层，然后通过Spark Streaming程序消费并写入HDFS，将数据缓存层和Spark Streaming程序的组合作为数据写入通道；步骤4：设置消费组和消费实例，从而改变数据消费速度；步骤5：部署文件合并服务，负责监控文件数量和大小，当文件个数或大小达到预设阈值，则自动触发小文件合并。本发明可以按需配置计算资源，提高了数据吞吐量和写入的效率，支持租户级别的资源隔离配置。

公开(公告)号：CN116028485A

公开(公告)日：2023-04-28

申请号：CN202111242169.4

申请日：2021-10-25

Applicant: 上海宝信软件股份有限公司

Inventor： 李亚贝 ,  黄明 ,  朱森 ,  李帅 ,  吴莉珊 ,  万英杰

IPC: G06F16/22 ,  G06F16/23 ,  G06F16/27 ,  G06F16/28

Abstract: 本发明提供了一种数据动态自适应的分区管理数据仓库构建方法和系统，包括：步骤1：构建数据仓库的存储结构；步骤2：通过Rest网关向存储结构写入数据，并对写入数据进行分层；步骤3：根据热数据层文件个数，将批处理数据归并热数据至温数据层；步骤4：根据温数据层文件个数，对批处理数据温数据层进行内部归并；步骤5：根据温数据层文件大小，将批处理数据进行数据沉淀至冷数据层。本发明在保障了高存储性能的前提下，有效拓宽了分布式存储的适应场景。