-
公开(公告)号：CN116737803B
公开(公告)日：2023-11-17
申请号：CN202311004734.2
申请日：2023-08-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2458 , G06F3/0486 , G06F9/50 , G06F16/26
Abstract: 本发明提供了一种基于有向无环图的可视化数据挖掘编排方法。用户可以从预设的数据处理组件库中拖拽一个或多个组件到画布中，并建立连线关系形成有向无环图，并显示在界面上。用户设置组件的参数信息后，这些参数会自动加载到有向无环图中。流程编排完成后，生成数据传递到后台进行处理。在流程运行过程中，提供状态监控和日志查看功能。同时，有向无环图还具备版本管理的能力。本发明通过结合前端可视化技术和有向无环图的形式，解决了传统数据挖掘工具复杂、门槛高以及使用成本不断增加的问题。
-
公开(公告)号：CN110533112B
公开(公告)日：2023-04-07
申请号：CN201910830182.8
申请日：2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F18/23213 , G06F18/2411 , G06F18/25
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法，其主要技术特点是：建立车联网云数据挖掘架构，该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群；采用车联网数据挖掘算法进行数据挖掘；采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构，提高了面向海量数据的支撑能力；通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术，优化流数据等车联网特有数据的支持；基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法，提升系统的智能化水平。
-
公开(公告)号：CN105426427A
公开(公告)日：2016-03-23
申请号：CN201510740873.0
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
CPC classification number: G06F16/273 , G06F3/0689 , G06F11/1469 , G06F16/211 , G06F16/2365
Abstract: 本发明涉及一种基于RAID 0存储的MPP数据库集群副本实现方法，其技术特点是包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现：进行数据库存储部署；计算副本存储位置；创建副本存储实体；进行副本元信息维护；进行副本数据访问；使用数据一致性维护模块进行副本数据一致性维护。本发明设计合理，其为MPP数据库集群引入系统层面的数据冗余，通过牺牲一定的存储空间来换取数据安全，提高了系统可用性；当出现硬件故障或副本数据被破坏(失效)时，系统自动将对该数据分片的访问导向另一个可用副本，实现对外不间断服务,并且解决单一数据并发访问“过热”问题，提高系统的吞吐性能。
-
公开(公告)号：CN105302638A
公开(公告)日：2016-02-03
申请号：CN201510740736.7
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F9/48
Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。
-
公开(公告)号：CN110196859A
公开(公告)日：2019-09-03
申请号：CN201910495097.0
申请日：2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/23 , G06F16/242 , G06F16/27
Abstract: 本发明涉及一种基于JDBC分发器的数据库读写分离集群实时一致性方法，包括以下步骤：应用程序调用神通数据库JDBC驱动建立数据库连接时，由神通数据库JDBC驱动创建读写分离分发器；应用程序通过神通数据库JDBC在已建立的数据库连接上发送SQL语句，读写分离分发器对输入的SQL语句进行分析，生成执行策略：如果是主机执行策略，则读写分离分发器将SQL语句分发到主机执行并返回执行结果，如果是备机执行策略，则读写分离分发器将SQL语句分发到备机执行并返回执行结果。本发明设计合理，既可以通过备份服务分担主机的负载，又保证了数据查询的一致性，用户应用程序可以在不做任何修改的情况下直接利用读写分离系统提高并发性。
-
Patent Agency Ranking
公开(公告)号：CN116756093A
公开(公告)日：2023-09-15
申请号：CN202311038429.5
申请日：2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质，所述方法包括：获取待存储的大对象，确定大对象的类型；对大对象执行第一类存储操作，包括：根据大对象的类型，确定大对象的索引信息和索引信息存储方式；按照索引信息存储方式存储索引信息，以及，若索引信息不包括大对象的数据内容，则将大对象的数据内容存储到大对象段；或，对大对象执行第二类存储操作，包括：根据大对象的类型，判断是否需要生成大对象的索引信息；若是，则根据大对象的类型，确定大对象的索引信息和索引信息存储方式，按照索引信息存储方式存储索引信息，并将大对象的数据内容存储到大对象段；或，若否，则将大对象的数据内容存储到大对象属性列。
-
公开(公告)号：CN105302638B
公开(公告)日：2018-11-20
申请号：CN201510740736.7
申请日：2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F9/48
Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法，其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块，并按以下步骤实现：各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上；MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息，MPP集群主控节点依据任务的分布信息以及对应节点的负载情况，完成对任务的排队和调度，通过对系统负载的实时监控，实现动态并发控制，可以有效提高资源的利用率，使系统达到最佳吞吐性能。
-
公开(公告)号：CN105335479A
公开(公告)日：2016-02-17
申请号：CN201510657159.5
申请日：2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30404 , G06F17/30445 , G06F17/30592 , G06F17/30637
Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法，其技术特点是：对输入SQL语法进行解析；在结构化数据仓库中建立和子查询投影结构一致的临时表；识别全文索引引擎数据分布规则；将基于SQL的简单子查询翻译为全文索引引擎语法，并在全文索引引擎中执行；获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中；完成查询结果导入过程，向数据仓库下发重写后的基于临时表SQL查询语句，并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点，实现对海量文本数据的基于通用SQL语言的统计分析方法，解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题，大大提高了文本数据统计分析的易用性。
-
公开(公告)号：CN103198159B
公开(公告)日：2016-01-06
申请号：CN201310153332.9
申请日：2013-04-27
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于事务重做的异构集群多副本一致性维护方法，其特点是：包括查询执行阶段：集群事务管理模块跟踪活动事务表，录制事务操作；集群为主数据节点生成事务重做日志；集群将事务重做日志文件发送给所有副本数据节点并管理节点状态；副本维护阶段：副本数据节点接收来自于主数据节点的事务重做日志文件；故障恢复阶段：数据库管理员将查找出故障节点对应的存档日志，将所有副本数据节点的数据恢复到同主数据节点一致的状态。本发明解决了现有技术存在代价高、性能差的问题，弥补了二进制日志传输方式无法支持异构数据库的不足，实现了多副本之间的快速一致性维护，保证无共享集群的高可用性，同时能够支持集群数据库节点的异构化。
-
公开(公告)号：CN116756093B
公开(公告)日：2023-11-03
申请号：CN202311038429.5
申请日：2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质，所述方法包括：获取待存储的大对象，确定大对象的类型；对大对象执行第一类存储操作，包括：根据大对象的类型，确定大对象的索引信息和索引信息存储方式；按照索引信息存储方式存储索引信息，以及，若索引信息不包括大对象的数据内容，则将大对象的数据内容存储到大对象段；或，对大对象执行第二类存储操作，包括：根据大对象的类型，判断是否需要生成大对象的索引信息；若是，则根据大对象的类型，确定大对象的索引信息和索引信息存储方式，按照索引信息存储方式存储索引信息，并将大对象的数据内容存储到大对象段；或，若否，则将大对象的数据内容存储到大对象属性列。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.031 seconds)
