-
公开(公告)号：CN108268611A
公开(公告)日：2018-07-10
申请号：CN201711473670.5
申请日：2017-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供一种基于MapReduce的k-means文本聚类的方法及装置。包括，删除离群点，最大距离法选取初始簇中心，构造迭代中的簇中心计算公式和测度函数，设计基于MapReduce框架的大规模文本并行聚类模型。采用本发明的方法，可以有效解决传统K-means聚类算法中的局部最优、迭代次数过多、聚类结果不稳定的问题，提高算法的并行能力和可扩展性。
-
公开(公告)号：CN106446029A
公开(公告)日：2017-02-22
申请号：CN201610777615.4
申请日：2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/258 , G06F16/248
Abstract: 本发明提供一种可配置数据转换中间件，包括数据库配置模块、输入配置模块、输出配置模块和中间件核心模块，所述的数据库配置模块、输入配置模块、输出配置模块作为中间件核心模块的输入数据流，中间件核心模块将接收的数据信息进行处理后得到图表格式文件，其中：数据库配置模块用于配置数据库的连接信息和用户名密码信息；输入配置模块包含要查询的sql语句及返回的结果集定义；所述的输出配置模块包含需要输出的内容，使用相应的lib库和定义可视化的规则。本发明的有益效果是通过数据转换中间件，任何需要进行数据转换的需求，不在需要经历漫长的研发过程，随时可以通过配置来改变转换数据的格式，通过可视化的方式，快速挖掘数据中蕴含的价值。
-
公开(公告)号：CN106407309A
公开(公告)日：2017-02-15
申请号：CN201610777843.1
申请日：2016-08-31
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明涉及一种支持多种数据源的集群数据库数据加载工具及方法。其目的是为了提供一种认证快捷、认证方式多样的集群数据库数据加载工具及方。本发明包括加载工具使用接口、加载任务管理模块、加载任务执行模块、读数据模块、数据源访问模块、写数据模块和数据库访问模块。加载工具使用接口用于启动加载任务，并将各个任务的参数传递给加载任务管理模块；加载任务管理模块用于保存、维护和调度所有接收到的加载任务；加载任务执行模块用于负责具体加载任务的执行；读数据模块用于提供统一的读取数据接口；数据源访问模块用于从具体的数据源上读取数据；写数据模块用于提供统一的写数据接口；数据库访问模块用于将接收到的数据加载进集群数据库。
-
公开(公告)号：CN105447121A
公开(公告)日：2016-03-30
申请号：CN201510785757.0
申请日：2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/25
Abstract: 本发明提供一种数据库集群重建连接高可用的方法，包括：应用系统通过数据库集群中的一个集群节点与数据库集群建立连接，向数据库集群发送业务请求；数据库集群在会话保持实体中记录应用系统的业务请求；如果应用系统连接的集群节点停止服务，应用系统与集群节点间的连接中断；应用系统重新向数据库集群建立连接；数据库集群通过会话保持实体获取到该应用系统连接中断之前的业务请求，将其关联到应用系统当前的连接，本次重建连接完成。本发明提高了数据库集群高可用性，保证应用系统的业务连续性。
-
公开(公告)号：CN105426466A
公开(公告)日：2016-03-23
申请号：CN201510782763.0
申请日：2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/22 , G06F16/24545
Abstract: 本发明旨在提供一种在列存数据库中使用布隆过滤器快速精确查询数据的方法。包括，在列存数据库的精确查询数据操作中使用数据包级的布隆过滤器对数据包进行筛选。布隆过滤器可以有效减少精确查询数据操作过程中对磁盘和文件系统的I/O访问，加快精确查询数据操作的速度。
-
Patent Agency Ranking
公开(公告)号：CN105389371A
公开(公告)日：2016-03-09
申请号：CN201510786229.7
申请日：2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
Abstract: 本发明提供一种数据库集群建立连接高可用的方法和系统，包括：应用系统调用数据库接口驱动，向数据库集群发起建立连接请求；根据建立连接请求，数据库接口驱动获取数据库集群中一个集群节点的IP地址，并向该IP地址发起建立连接请求；如果建立连接成功，则本次应用系统和数据库集群的建立连接完成；如果建立连接不成功，则数据库接口驱动获取数据库集群中另一个集群节点的IP地址，并向该IP地址发起建立连接请求。本发明能够解决数据库集群中有集群节点不提供服务的情况下应用系统仍然可以通过其他集群节点访问集群的问题，确保数据库集群的高可用性。
-
公开(公告)号：CN105389368A
公开(公告)日：2016-03-09
申请号：CN201510778860.2
申请日：2015-11-16
Applicant: 天津南大通用数据技术股份有限公司
IPC: G06F17/30
CPC classification number: G06F16/273
Abstract: 本发明提供一种MPP架构数据库集群元数据管理方法，通过在数据库集群中增加内存数据库，实现集群元数据的统一管理。采用本发明中的方法，可以保证数据库集群中集群元数据的一致性，以及实现快速写入及读取集群元数据，解决集群失效节点重新加入集群时集群元数据不一致问题，进而提高数据库集群的高可用性。
-
公开(公告)号：CN117112238B
公开(公告)日：2024-01-30
申请号：CN202311369632.0
申请日：2023-10-23
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种OLAP数据库排序算子中的高性能归并方法，包括：将排序算子的输入数据的单位定义为段，每段为输入段；将每个输入段中的数据块添加到排序算子的cache中，用以在排序和物化时使用，其中数据块为输入数据的最小输入单元；针对添加到排序算子的cache中的输入数据进行内部排序，形成排序后的输入数据；针对排序后的输入数据，按照分割点拆分成t个子任务；分别在每个子任务中进行归并，所有子任务的归并结果即为整体的归并结果；根据整体的归并结果物化排序列的实际数据以及其它查询需要的列，输出结果。本发明有益效果：一种OLAP数据库排序算子中的高性能归并方法，可充分发挥多核CPU的计算性能，大幅缩短归并耗时。
-
公开(公告)号：CN117112238A
公开(公告)日：2023-11-24
申请号：CN202311369632.0
申请日：2023-10-23
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种OLAP数据库排序算子中的高性能归并方法，包括：将排序算子的输入数据的单位定义为段，每段为输入段；将每个输入段中的数据块添加到排序算子的cache中，用以在排序和物化时使用，其中数据块为输入数据的最小输入单元；针对添加到排序算子的cache中的输入数据进行内部排序，形成排序后的输入数据；针对排序后的输入数据，按照分割点拆分成t个子任务；分别在每个子任务中进行归并，所有子任务的归并结果即为整体的归并结果；根据整体的归并结果物化排序列的实际数据以及其它查询需要的列，输出结果。本发明有益效果：一种OLAP数据库排序算子中的高性能归并方法，可充分发挥多核CPU的计算性能，大幅缩短归并耗时。
-
公开(公告)号：CN112597251B
公开(公告)日：2023-01-24
申请号：CN202011607549.9
申请日：2020-12-29
Applicant: 天津南大通用数据技术股份有限公司
Abstract: 本发明提供了一种基于RDMA的高可用数据库集群日志同步方法，发送端包括如下步骤：主节点创建日志处理和发送线程，进行日志流数据的切分处理并将切分后的日志块写入管道；主节点创建RDMA发送线程，从管道中读取日志块数据并发送到从节点。本发明采用优选的基于RDMA同步日志数据的方式，能够显著提升日志数据传输速度，降低日志传输的网络延迟，能够减少数据库对单个事务的响应时间，在高并发的场景下，因此能够显著提升数据库的高可用性，提升用户体验。
-
-
-
-
-
-
-
-
-
Search Results
103
records
(took 0.112 seconds)
