公开(公告)号：CN102402617A

公开(公告)日：2012-04-04

申请号：CN201110436693.5

申请日：2011-12-23

Applicant: 天津神舟通用数据技术有限公司

Inventor： 蔡华林 ,  曹晖 ,  冯柯 ,  何清法 ,  顾云苏 ,  王嘉春 ,  毛云青 ,  徐昶 ,  李阳 ,  周宇

IPC: G06F17/30

Abstract: 本发明涉及一种利用分片及稀疏位图的易压缩数据库索引存储系统及其相应的构建、调度和查询处理方法。所述索引存储系统具体包括分片的数据存储结构，以及针对分片数据的稀疏哈希位图索引存储结构，稀疏哈希位图为对需索引数据的概要知识，也可扩充为对分片数据特征的其他概要提取方法。本发明涉及的过滤索引系统和构建、查询处理方法可以实现对海量数据高效的等值查询，大大减少对数据的磁盘读写次数，并且索引空间占用量极小，相对于B+树索引更适用于历史海量数据的查询，且基于此系统及方法能够方便的实现对数据库和索引的压缩存储，并能过滤分片压缩包从而极大减小压缩数据库的解码开销。

公开(公告)号：CN102831146A

公开(公告)日：2012-12-19

申请号：CN201210202879.9

申请日：2012-06-19

Applicant: 天津神舟通用数据技术有限公司

Inventor： 蔡华林 ,  冯柯 ,  徐昶 ,  何清法 ,  周丽霞 ,  蒋志勇 ,  毛云青 ,  赵殿奎 ,  李海峰

IPC: G06F17/30

Abstract: 本发明涉及一种数据库子串过滤索引系统及其构建、查询方法，其技术特点是：该子串过滤索引系统包括将导入数据进行分片数据存储并从每个分片数据中提取出描述分片数据的子串特征构建一个或多个子串特征过滤位图的分片式数据存储模块，以及用于存储以子串特征过滤位图为子串特征索引的过滤索引存储模块，还包括该子串过滤索引系统的构建和查询方法。本发明设计合理，解决了传统索引空间占用大、压缩数据难以索引的的问题，实现了对海量文本数据高效的子串、关键字查询功能，大大减少了对数据的磁盘读写次数，提升了数据库的全表扫描性能。

公开(公告)号：CN102760161A

公开(公告)日：2012-10-31

申请号：CN201210191566.8

申请日：2012-06-12

Applicant: 天津神舟通用数据技术有限公司

Inventor： 徐昶 ,  冯柯 ,  蔡华林 ,  蒋志勇 ,  何清法 ,  周丽霞 ,  顾云苏 ,  曹晖 ,  李阳 ,  饶路

IPC: G06F17/30 ,  G06F11/34

Abstract: 本发明公开了一种按事务聚集的日志组织结构及基于其上的恢复协议，可应用于大型计算机上的事务性数据管理系统。日志文件被顺序组织为若干个日志片，每个日志片存放同一个事务的日志内容，每个日志片保留一份事务号及同事务的前项日志片指针，同个日志片上的日志项所涉及的数据页面号以数组形式存储。系统在运行中，各事务只写自己的日志片，并在事务提交时将日志片写入日志文件。恢复时，通过扫描所有的日志片进行重做，以及回退所有活跃事务的日志片进行回退，使系统恢复到持久的、一致的状态。本发明解决了传统事务性数据管理系统中的写日志并发瓶颈问题，并有效减少了系统日志量。