-
公开(公告)号:CN102402617A
公开(公告)日:2012-04-04
申请号:CN201110436693.5
申请日:2011-12-23
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种利用分片及稀疏位图的易压缩数据库索引存储系统及其相应的构建、调度和查询处理方法。所述索引存储系统具体包括分片的数据存储结构,以及针对分片数据的稀疏哈希位图索引存储结构,稀疏哈希位图为对需索引数据的概要知识,也可扩充为对分片数据特征的其他概要提取方法。本发明涉及的过滤索引系统和构建、查询处理方法可以实现对海量数据高效的等值查询,大大减少对数据的磁盘读写次数,并且索引空间占用量极小,相对于B+树索引更适用于历史海量数据的查询,且基于此系统及方法能够方便的实现对数据库和索引的压缩存储,并能过滤分片压缩包从而极大减小压缩数据库的解码开销。
-
公开(公告)号:CN102760161A
公开(公告)日:2012-10-31
申请号:CN201210191566.8
申请日:2012-06-12
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明公开了一种按事务聚集的日志组织结构及基于其上的恢复协议,可应用于大型计算机上的事务性数据管理系统。日志文件被顺序组织为若干个日志片,每个日志片存放同一个事务的日志内容,每个日志片保留一份事务号及同事务的前项日志片指针,同个日志片上的日志项所涉及的数据页面号以数组形式存储。系统在运行中,各事务只写自己的日志片,并在事务提交时将日志片写入日志文件。恢复时,通过扫描所有的日志片进行重做,以及回退所有活跃事务的日志片进行回退,使系统恢复到持久的、一致的状态。本发明解决了传统事务性数据管理系统中的写日志并发瓶颈问题,并有效减少了系统日志量。
-
公开(公告)号:CN102831146A
公开(公告)日:2012-12-19
申请号:CN201210202879.9
申请日:2012-06-19
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库子串过滤索引系统及其构建、查询方法,其技术特点是:该子串过滤索引系统包括将导入数据进行分片数据存储并从每个分片数据中提取出描述分片数据的子串特征构建一个或多个子串特征过滤位图的分片式数据存储模块,以及用于存储以子串特征过滤位图为子串特征索引的过滤索引存储模块,还包括该子串过滤索引系统的构建和查询方法。本发明设计合理,解决了传统索引空间占用大、压缩数据难以索引的的问题,实现了对海量文本数据高效的子串、关键字查询功能,大大减少了对数据的磁盘读写次数,提升了数据库的全表扫描性能。
-
公开(公告)号:CN102637147A
公开(公告)日:2012-08-15
申请号:CN201110358353.5
申请日:2011-11-14
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F12/06
Abstract: 本发明公开了一种利用固态硬盘作为计算机写缓存的存储系统及相应的管理调度方法。所述存储系统包括,一块或多块小容量、访问速度较快的固态硬盘设备,和一块或多块大容量、访问速度较慢的传统磁盘设备,上述设备通过标准PCI-E、SAS或SCSI接口之一与所述计算机的总线相连,并对所述计算机系统可见。
-
公开(公告)号:CN102521389A
公开(公告)日:2012-06-27
申请号:CN201110436674.2
申请日:2011-12-23
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明公开一种混合使用固态硬盘和传统硬盘的postgresql数据库集群系统的构建框架和基于该系统的优化方法。所述集群系统中包含一台装有用于查询分发的集群软件的查询分发服务器和若干台装有postgresql数据库的数据库服务器,这些服务器处同处于一个局域网中,通过较高带宽的网络相互连接,在这些postgresql数据库服务器中,有一台作为主服务器节点,其他的作为从服务器节点,主服务器节点使用传统硬盘,从服务器节点使用固态硬盘,其中查询分发服务器负责接受和预处理用户的查询,并把这些查询分发到数据库集群中的具体的单个节点上。本优化方法对查询分发集群软件进行一些改进,提出新的查询预处理和分配的方法,从而更好地利用现有的集群架构,提高数据库集群的性能。同时本优化方法也对数据复制集群软件的复制策略进行改进,提出一种新的有利于利用固态硬盘优势的复制策略。
-
-
-
-