公开(公告)号：CN102402617A

公开(公告)日：2012-04-04

申请号：CN201110436693.5

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 蔡华林 ,  曹晖 ,  冯柯 ,  何清法 ,  顾云苏 ,  王嘉春 ,  毛云青 ,  徐昶 ,  李阳 ,  周宇

IPC: G06F17/30

Abstract: 本发明涉及一种利用分片及稀疏位图的易压缩数据库索引存储系统及其相应的构建、调度和查询处理方法。所述索引存储系统具体包括分片的数据存储结构，以及针对分片数据的稀疏哈希位图索引存储结构，稀疏哈希位图为对需索引数据的概要知识，也可扩充为对分片数据特征的其他概要提取方法。本发明涉及的过滤索引系统和构建、查询处理方法可以实现对海量数据高效的等值查询，大大减少对数据的磁盘读写次数，并且索引空间占用量极小，相对于B+树索引更适用于历史海量数据的查询，且基于此系统及方法能够方便的实现对数据库和索引的压缩存储，并能过滤分片压缩包从而极大减小压缩数据库的解码开销。

公开(公告)号：CN102737132A

公开(公告)日：2012-10-17

申请号：CN201210209362.2

申请日：2012-06-25

Applicant: 天津神舟通用数据技术有限公司

Inventor： 曹晖 ,  冯柯 ,  毛云青 ,  何清法 ,  周丽霞 ,  蒋志勇 ,  赵殿奎 ,  关刚 ,  王效忠 ,  李海峰

IPC: G06F17/30

Abstract: 本发明公开了一种基于数据库行列混合存储的多规则复合压缩方法。结合当前软硬件发展趋势以及数据库业界所面临的严重性能瓶颈，提出了将数据库内数据按元组行组织、按属性列压缩的混合存储压缩模式，既具备了列存储高压缩率的特性同时兼具行存储便于随机定位访问的优点。同时针对不同的数据分布特点提出了多种属性列内的规则编码方法，尤其针对数据库单表内各属性列间可能存在的关系提出了列间压缩规则，结合后端的通用压缩算法，能够高效的为上层数据库应用提供多级别的复合压缩功能，并保证在指定压缩率条件下最大化编解码速度。

公开(公告)号：CN102831146A

公开(公告)日：2012-12-19

申请号：CN201210202879.9

申请日：2012-06-19

Applicant: 天津神舟通用数据技术有限公司

Inventor： 蔡华林 ,  冯柯 ,  徐昶 ,  何清法 ,  周丽霞 ,  蒋志勇 ,  毛云青 ,  赵殿奎 ,  李海峰

IPC: G06F17/30

Abstract: 本发明涉及一种数据库子串过滤索引系统及其构建、查询方法，其技术特点是：该子串过滤索引系统包括将导入数据进行分片数据存储并从每个分片数据中提取出描述分片数据的子串特征构建一个或多个子串特征过滤位图的分片式数据存储模块，以及用于存储以子串特征过滤位图为子串特征索引的过滤索引存储模块，还包括该子串过滤索引系统的构建和查询方法。本发明设计合理，解决了传统索引空间占用大、压缩数据难以索引的的问题，实现了对海量文本数据高效的子串、关键字查询功能，大大减少了对数据的磁盘读写次数，提升了数据库的全表扫描性能。

公开(公告)号：CN102750376A

公开(公告)日：2012-10-24

申请号：CN201210209343.X

申请日：2012-06-25

Applicant: 天津神舟通用数据技术有限公司

Inventor： 毛云青 ,  冯柯 ,  曹晖 ,  何清法 ,  周丽霞 ,  蒋志勇 ,  李海峰 ,  关刚 ,  王效忠 ,  赵殿奎

IPC: G06F17/30

Abstract: 本发明公开一种用于海量存储查询专用数据库的多版本存储引擎系统及其相关处理的实现方法。所述存储引擎系统包括：数据存储模块，用于存储压缩数据包；索引模块，用于存储和处理知识网格索引；数据缓存模块，用于存储插入数据；和修改存储区模块，用于存储事务对数据包的修改记录；其特征在于：将数据分块压缩成数据包存储，将数据的版本信息和修改记录存储在一个修改存储区中。这些模块构成了这个多版本存储引擎的整体框架，在这个框架的基础上本发明设计和实现了一系列查询处理和版本信息处理相关的关键算法，从而实现了多版本控制技术。通过这个多版本存储引擎，本发明使得该数据库支持了多版本操作，显著地提高了数据库系统的并发度，实现了数据库系统性能的极大提升。

公开(公告)号：CN102637147A

公开(公告)日：2012-08-15

申请号：CN201110358353.5

申请日：2011-11-14

Applicant: 天津神舟通用数据技术有限公司

Inventor： 徐昶 ,  毛云青 ,  冯柯 ,  何清法 ,  顾云苏 ,  王嘉春 ,  饶路 ,  蒋志勇

IPC: G06F12/06

Abstract: 本发明公开了一种利用固态硬盘作为计算机写缓存的存储系统及相应的管理调度方法。所述存储系统包括，一块或多块小容量、访问速度较快的固态硬盘设备，和一块或多块大容量、访问速度较慢的传统磁盘设备，上述设备通过标准PCI-E、SAS或SCSI接口之一与所述计算机的总线相连，并对所述计算机系统可见。

公开(公告)号：CN102521389A

公开(公告)日：2012-06-27

申请号：CN201110436674.2

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 毛云青 ,  徐昶 ,  冯柯 ,  何清法 ,  顾云苏 ,  王嘉春 ,  饶路 ,  蒋志勇

IPC: G06F17/30 ,  H04L29/08

Abstract: 本发明公开一种混合使用固态硬盘和传统硬盘的postgresql数据库集群系统的构建框架和基于该系统的优化方法。所述集群系统中包含一台装有用于查询分发的集群软件的查询分发服务器和若干台装有postgresql数据库的数据库服务器，这些服务器处同处于一个局域网中，通过较高带宽的网络相互连接，在这些postgresql数据库服务器中，有一台作为主服务器节点，其他的作为从服务器节点，主服务器节点使用传统硬盘，从服务器节点使用固态硬盘，其中查询分发服务器负责接受和预处理用户的查询，并把这些查询分发到数据库集群中的具体的单个节点上。本优化方法对查询分发集群软件进行一些改进，提出新的查询预处理和分配的方法，从而更好地利用现有的集群架构，提高数据库集群的性能。同时本优化方法也对数据复制集群软件的复制策略进行改进，提出一种新的有利于利用固态硬盘优势的复制策略。