-
公开(公告)号:CN110533112B
公开(公告)日:2023-04-07
申请号:CN201910830182.8
申请日:2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F18/23213 , G06F18/2411 , G06F18/25
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法,其主要技术特点是:建立车联网云数据挖掘架构,该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群;采用车联网数据挖掘算法进行数据挖掘;采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构,提高了面向海量数据的支撑能力;通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术,优化流数据等车联网特有数据的支持;基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法,提升系统的智能化水平。
-
公开(公告)号:CN110196859A
公开(公告)日:2019-09-03
申请号:CN201910495097.0
申请日:2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/23 , G06F16/242 , G06F16/27
Abstract: 本发明涉及一种基于JDBC分发器的数据库读写分离集群实时一致性方法,包括以下步骤:应用程序调用神通数据库JDBC驱动建立数据库连接时,由神通数据库JDBC驱动创建读写分离分发器;应用程序通过神通数据库JDBC在已建立的数据库连接上发送SQL语句,读写分离分发器对输入的SQL语句进行分析,生成执行策略:如果是主机执行策略,则读写分离分发器将SQL语句分发到主机执行并返回执行结果,如果是备机执行策略,则读写分离分发器将SQL语句分发到备机执行并返回执行结果。本发明设计合理,既可以通过备份服务分担主机的负载,又保证了数据查询的一致性,用户应用程序可以在不做任何修改的情况下直接利用读写分离系统提高并发性。
-
公开(公告)号:CN116756093A
公开(公告)日:2023-09-15
申请号:CN202311038429.5
申请日:2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质,所述方法包括:获取待存储的大对象,确定大对象的类型;对大对象执行第一类存储操作,包括:根据大对象的类型,确定大对象的索引信息和索引信息存储方式;按照索引信息存储方式存储索引信息,以及,若索引信息不包括大对象的数据内容,则将大对象的数据内容存储到大对象段;或,对大对象执行第二类存储操作,包括:根据大对象的类型,判断是否需要生成大对象的索引信息;若是,则根据大对象的类型,确定大对象的索引信息和索引信息存储方式,按照索引信息存储方式存储索引信息,并将大对象的数据内容存储到大对象段;或,若否,则将大对象的数据内容存储到大对象属性列。
-
公开(公告)号:CN116756093B
公开(公告)日:2023-11-03
申请号:CN202311038429.5
申请日:2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质,所述方法包括:获取待存储的大对象,确定大对象的类型;对大对象执行第一类存储操作,包括:根据大对象的类型,确定大对象的索引信息和索引信息存储方式;按照索引信息存储方式存储索引信息,以及,若索引信息不包括大对象的数据内容,则将大对象的数据内容存储到大对象段;或,对大对象执行第二类存储操作,包括:根据大对象的类型,判断是否需要生成大对象的索引信息;若是,则根据大对象的类型,确定大对象的索引信息和索引信息存储方式,按照索引信息存储方式存储索引信息,并将大对象的数据内容存储到大对象段;或,若否,则将大对象的数据内容存储到大对象属性列。
-
公开(公告)号:CN116737803A
公开(公告)日:2023-09-12
申请号:CN202311004734.2
申请日:2023-08-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2458 , G06F3/0486 , G06F9/50 , G06F16/26
Abstract: 本发明提供了一种基于有向无环图的可视化数据挖掘编排方法。用户可以从预设的数据处理组件库中拖拽一个或多个组件到画布中,并建立连线关系形成有向无环图,并显示在界面上。用户设置组件的参数信息后,这些参数会自动加载到有向无环图中。流程编排完成后,生成数据传递到后台进行处理。在流程运行过程中,提供状态监控和日志查看功能。同时,有向无环图还具备版本管理的能力。本发明通过结合前端可视化技术和有向无环图的形式,解决了传统数据挖掘工具复杂、门槛高以及使用成本不断增加的问题。
-
公开(公告)号:CN116662373A
公开(公告)日:2023-08-29
申请号:CN202310926727.1
申请日:2023-07-27
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F8/41
Abstract: 本申请公开了一种数据访问控制方法、装置、设备及介质,数据访问控制方法包括:获取用于表征数据访问请求的初始SQL语句,对所述初始SQL语句进行解析,生成AST语法树;根据所述AST语法树确定所述初始SQL语句对应的数据访问请求方的访问规则,生成包含所述访问规则的目标SQL语句;执行所述目标SQL语句,以控制所述数据访问请求方按照所述访问规则进行数据访问操作;或使数据源执行所述目标SQL语句,以控制所述数据访问请求方按照所述访问规则进行数据访问操作。
-
公开(公告)号:CN110209701A
公开(公告)日:2019-09-06
申请号:CN201910495179.5
申请日:2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/23
Abstract: 本发明涉及一种基于内存多级缓存的数据快速分页查询访问的方法,包括以下步骤:在数据库启动时,创建一张哈希表作为全局缓存结构;在事务开始时,创建一张哈希表作为该事务的局部缓存结构;在事务进行的过程中,完成表更新操作;当一个事务发起表的总行数查询时,以OID为键在全局缓存结构中查找表的总行数,以OID为键在事务局部缓存结构中查找当前事务影响该表的变化行数,两个数值相加作为此次查询表的总行数;在事务提交时,数据库系统将更新过的当前事务局部缓存结构中各个表的变化行数累加到全局缓存结构中相应表的总行数上。本发明设计合理,大大减少并发冲突,同时最大限度减少了内存中表的总行数的维护对表的更新性能产生的影响。
-
公开(公告)号:CN116996505B
公开(公告)日:2023-12-15
申请号:CN202311252984.8
申请日:2023-09-27
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/06 , H04L67/288 , H04L67/56 , H04L67/60
Abstract: 本发明提供一种基于调度引擎的文件交换控制方法和系统,包括:定义文件交换任务,向调度引擎中的API节点发送启动文件交换任务请求;调度引擎中的API节点收到任务请求后,生成启动任务的调度命令;调度引擎中的多个调度节点轮询调度命令;当某个调度节点捕获到调度命令后,对调度命令加上分布式锁,阻止其他调度节点获取;该调度节点选择一个执行节点,向该执行节点发送文件交换任务指令;执行节点接收到任务指令后,对任务信息进行解析,获取任务类型,以及任务指定的交换节点,向交换节点发送文件交换请求;交换节点对待交换的文件进行切片后,根据并发数设置,调用文件交换服务并发交换文件;服务端并发接收并存储文件。
-
公开(公告)号:CN116996505A
公开(公告)日:2023-11-03
申请号:CN202311252984.8
申请日:2023-09-27
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/06 , H04L67/288 , H04L67/56 , H04L67/60
Abstract: 本发明提供一种基于调度引擎的文件交换控制方法和系统,包括:定义文件交换任务,向调度引擎中的API节点发送启动文件交换任务请求;调度引擎中的API节点收到任务请求后,生成启动任务的调度命令;调度引擎中的多个调度节点轮询调度命令;当某个调度节点捕获到调度命令后,对调度命令加上分布式锁,阻止其他调度节点获取;该调度节点选择一个执行节点,向该执行节点发送文件交换任务指令;执行节点接收到任务指令后,对任务信息进行解析,获取任务类型,以及任务指定的交换节点,向交换节点发送文件交换请求;交换节点对待交换的文件进行切片后,根据并发数设置,调用文件交换服务并发交换文件;服务端并发接收并存储文件。
-
公开(公告)号:CN110533112A
公开(公告)日:2019-12-03
申请号:CN201910830182.8
申请日:2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06K9/62
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法,其主要技术特点是:建立车联网云数据挖掘架构,该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群;采用车联网数据挖掘算法进行数据挖掘;采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构,提高了面向海量数据的支撑能力;通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术,优化流数据等车联网特有数据的支持;基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法,提升系统的智能化水平。
-
-
-
-
-
-
-
-
-