-
公开(公告)号:CN108363717A
公开(公告)日:2018-08-03
申请号:CN201711473686.6
申请日:2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 一种数据安全级别的识别检测方法及装置,本发明旨在提供一种识别检测数据安全分级的方法。该方法作用的对象为关系型数据库或大数据服务提供者的存储数据,可为单个关系表,单个存储文件或单个数据库判定其安全级别,级别越高则数据泄漏或损坏后造成的损失越大。该方法以数据单元所含敏感数据多少作为最重要特征,结合数据单元的主题,数据量,对大数据服务平台上尽可能多的数据单元做聚类并根据其结果设定安全分级并可对新的数据单元进行安全级别认定。该种分级方法能全面,准确,有效的评估数据安全级别,为普通数据服务和大数据服务平台应该设定哪种级别的数据安全保护提供参考,为评估大数据服务能力提供支持。
-
公开(公告)号:CN104572893B
公开(公告)日:2018-02-27
申请号:CN201410818000.2
申请日:2014-12-24
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种数据库中的数据混合存储方法,将采用列存储的原数据库表中的列数据分为列存储数据和行存储数据并存储在同一数据库表中;所述行存储数据的存储结构在内部融合列存储数据的数据存储特征;所述数据库表中的列存储数据是根据运行系统查询特征选择的数据列,用于进行列扫描多关联的条件列等数据查询定位操作。本发明具有的优点和积极效果是:为在复杂应用场景下的列存数据库提供了一种有效解决select*应用模型物化效率低下的方法,提高了列存数据库对于select*类型的查询效率,扩展了列存数据库的适用范围;减小了现有行列混合存储方式占用的空间,同时数据的压缩效率与列存储相差不多。
-
公开(公告)号:CN104484469B
公开(公告)日:2017-12-15
申请号:CN201410847870.2
申请日:2014-12-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明创造提供一种支持多hash map数据库集群系统不停机的扩容方法,包括以下步骤:S1.集群中的原表都绑定到现有的hash map上,现有的hash map命名为old hash map;S2.进行集群扩容时,执行产生新hash map的命令,集群产生新的hash map,并把该hash map设定为current hash map;S3.集群扩容后新创建的表自动绑定到current hash map上;S4.对原表和新表的任何操作将以current hash map为当前操作的hash map,基于old hash map的老表的原有的hash特性将丢失,需要按照current hash map进行数据动态重分布后参与和新表的运算。S5.迁移部分数据到新节点上,迁移完成后该表即可绑定到current hash map上。这种设计性能不衰减,数据过渡自然。
-
公开(公告)号:CN106446031A
公开(公告)日:2017-02-22
申请号:CN201610777769.3
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/21 , G06F16/273
Abstract: 本发明提供一种大规模集群数据库快速节点替换方法,包括以下步骤:设置节点不可用状态;安装替换节点的新节点的安装程序,进行新节点和集群配置;设置集群模式为只读,判断写操作是否执行完成;当写操作执行完成后,同步元数据;元数据同步完成后,恢复集群模式为正常,对用户的数据设置同步数据标志,根据同步数据标志进行用户数据同步。一种大规模集群数据库快速节点替换方法,将数据节点替换过程分为两步进行:元数据同步和用户数据同步。元数据同步期间禁止用户对数据库进行写操作,用户数据同步期间允许用户进行所有的数据库操作。数据库元数据的数据量一般不大,同步时间短,会最大限度减少用户不能对数据库进行写操作的时间。
-
公开(公告)号:CN106407307A
公开(公告)日:2017-02-15
申请号:CN201610777565.X
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供了一种分布式数据库节点数据交互方法及装置,其中,所述发送方法包括:发送端将欲发送的数据存储在缓存中;检测所述缓存的数据是否满足预设条件,在满足预设条件时,向接收端发送缓存的数据。本发明实施例通过将发送或者接收的数据预先存储在缓存中,在满足条件时,才执行对应的发送或者写入操作,可以控制发送或者接收数据的规模,避免大量I/O操作产生的大量碎片。
-
公开(公告)号:CN106372166A
公开(公告)日:2017-02-01
申请号:CN201610777883.6
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/2453 , G06F16/2282
Abstract: 本发明涉及一种支持对数据表进行快速查询的数据库系统及查询方法。其目的是为了提供一种查询速度快、查询精确的快速查询的数据库系统及查询方法。本发明包括数据表查询器,数据表查询器内部设置有快速分组查询模块、大尺度分组过滤模块、中尺度分组过滤模块和精确分组定位模块。数据表查询器对单个数据表上的查询工作进行总的控制;快速分组查询模块通过对各模块进行控制,完成对单个数据表上的分组查询操作;大尺度分组过滤模块用于单个数据表上的大尺度组边界的定位操作;中尺度分组过滤模块用于大尺度组范围内的中尺度组边界的定位操作;精确分组定位模块用于中尺度组范围内的精确组边界的定位操作。
-
公开(公告)号:CN106372165A
公开(公告)日:2017-02-01
申请号:CN201610777882.1
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/256 , G06F16/27
Abstract: 本发明提供了一种基于totem协议的集群的leader选取方法及装置,其中,所述方法包括:获取集群中节点的epoch数和transactionid数;根据所述epoch数和transactionid数选取leader节点。可以在正常或者异常情况下,都可选择出具有有完整的、正确的数据的节点作为leader节点。
-
公开(公告)号:CN106354585A
公开(公告)日:2017-01-25
申请号:CN201610777563.0
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F11/14
CPC classification number: G06F11/1415
Abstract: 本发明提供一种数据库集群多数据分片备份的部署方法及装置,所述方法包括:获取数据库集群中的节点数量;获取数据库集群中每个节点对应的数据分片数量;按照预设的规则配置备份分片;算所述配置备份分片的可靠性,选取最优可靠性作为部署方法。通过预定的规则配置多种备份分片的部署方式,并选取其中可靠性最高的配置方式作为部署方式,可进行最优可靠性部署,并大程度保障集群的可靠性。
-
公开(公告)号:CN106354548A
公开(公告)日:2017-01-25
申请号:CN201610777613.5
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种分布式数据库系统中虚拟集群创建、管理方法及装置,其中,所述方法包括:获取系统中所有计算节点信息;从系统中选取组成虚拟集群的计算节点;配置所述虚拟集群节点的主分片和副本分片的部署关系;将所述部署关系和所述集群的元数据存储在所述虚拟集群的管理节点系统表。可以根据业务系统将物理集群规划为虚拟集群,无需维护多套系统,有效降低部署和维护成本。
-
公开(公告)号:CN106331132A
公开(公告)日:2017-01-11
申请号:CN201610777664.8
申请日:2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: H04L29/08
CPC classification number: H04L67/1023 , H04L67/1008
Abstract: 本发明提供了一种分布式数据库中节点的替换方法及装置,其中,所述方法包括:将原节点设置为不可用状态;将新节点设置为与原节点相同的IP地址;接收节点替换命令,根据命令中的IP地址判断替换的节点类型;根据所述节点类型对节点进行替换。通过在替换过程中设置相同的IP地址替换节点,并根据节点类型进行节点的替换,在此期间集群仍然可以对外提供正常的服务,不需要中断。
-
-
-
-
-
-
-
-
-