公开(公告)号：CN118860269A

公开(公告)日：2024-10-29

申请号：CN202410102498.6

申请日：2024-01-24

Applicant: 上海宝信软件股份有限公司

Inventor： 朱森 ,  李亚贝 ,  黄明 ,  万英杰 ,  李帅

IPC: G06F3/06 ,  G06F9/455 ,  G06F9/50 ,  G06F16/22 ,  G06F16/182

Abstract: 本发明提供了一种租户级别资源隔离的数据写入通道管理方法和系统，包括：步骤1：部署负载均衡集群；步骤2：进行多租户隔离；步骤3：数据通过Rest网关写入后，被送到数据缓存层，然后通过Spark Streaming程序消费并写入HDFS，将数据缓存层和Spark Streaming程序的组合作为数据写入通道；步骤4：设置消费组和消费实例，从而改变数据消费速度；步骤5：部署文件合并服务，负责监控文件数量和大小，当文件个数或大小达到预设阈值，则自动触发小文件合并。本发明可以按需配置计算资源，提高了数据吞吐量和写入的效率，支持租户级别的资源隔离配置。

公开(公告)号：CN116028485A

公开(公告)日：2023-04-28

申请号：CN202111242169.4

申请日：2021-10-25

Applicant: 上海宝信软件股份有限公司

Inventor： 李亚贝 ,  黄明 ,  朱森 ,  李帅 ,  吴莉珊 ,  万英杰

IPC: G06F16/22 ,  G06F16/23 ,  G06F16/27 ,  G06F16/28

Abstract: 本发明提供了一种数据动态自适应的分区管理数据仓库构建方法和系统，包括：步骤1：构建数据仓库的存储结构；步骤2：通过Rest网关向存储结构写入数据，并对写入数据进行分层；步骤3：根据热数据层文件个数，将批处理数据归并热数据至温数据层；步骤4：根据温数据层文件个数，对批处理数据温数据层进行内部归并；步骤5：根据温数据层文件大小，将批处理数据进行数据沉淀至冷数据层。本发明在保障了高存储性能的前提下，有效拓宽了分布式存储的适应场景。