公开(公告)号：CN115309550A

公开(公告)日：2022-11-08

申请号：CN202210930830.9

申请日：2022-08-04

Applicant: 天津神舟通用数据技术有限公司

Inventor： 李晓鹏 ,  贾宗秀 ,  刘尧 ,  张昕尧 ,  蒋旭 ,  赵冬伟 ,  姬涛涛 ,  朱亚楠 ,  吴嵩 ,  周勇亮 ,  刘勇生 ,  桑国彪 ,  乐承予

IPC: G06F9/50 ,  G06F9/48

Abstract: 本发明涉及一种MPP并行数据库实例级副本均衡方法，其技术特点是：存储IO的均衡策略为每个WAL日志配置单独存储硬盘，为业务数据配置一个共享的大容量存储硬盘；物理内存的均衡策略采用动态的数据页面缓冲区分配方式；计算资源的均衡策略采用自适应工作方式；回切原主实例策略包括平滑模式rebalance和速度模式rebalance以满足不同的场景需求。本发明充分考虑MPP并行数据库中并行计算、批量装载数据以及一次写入多次查询的特点，分别从存储IO、物理内存、计算资源和回切原主实例这四个方面进行实例级副本的均衡，最终实现了在不妥协从实例的冗余能力的基础上最大化主实例的计算服务能力。

公开(公告)号：CN117435629A

公开(公告)日：2024-01-23

申请号：CN202311733338.3

申请日：2023-12-18

Applicant: 天津神舟通用数据技术有限公司

Inventor： 张昕尧 ,  何清法 ,  李晓鹏 ,  贾宗秀 ,  刘尧 ,  姬涛涛 ,  周丽霞 ,  吴嵩 ,  胡薇

IPC: G06F16/2455 ,  G06F16/2453 ,  G06F16/28

Abstract: 本发明公开一种数据处理方法、装置、设备及介质，包括：将初始数据划分为若干个行组单元，将由各行组单元按列压缩得到的各压缩单元进行存储；行组单元包含初始数据中的多行数据，压缩单元所包含数据通过压缩单元所对应的索引项表示；若压缩单元中的数据需要更新，则将发生更新的各行数据按行存储形式存储到该压缩单元对应的更新数据单元；根据数据查询指令确定待查询的数据列；根据压缩单元对应的索引项确定压缩单元是否可过滤；若存在与压缩单元对应的更新数据单元，根据压缩单元的过滤情况或压缩单元中待查询的数据列是否发生过更新，确定压缩单元对应的更新数据单元是否可过滤；从不可过滤的压缩单元和不可过滤的更新数据单元中查询目标数据。