-
公开(公告)号:CN110533112B
公开(公告)日:2023-04-07
申请号:CN201910830182.8
申请日:2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F18/23213 , G06F18/2411 , G06F18/25
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法,其主要技术特点是:建立车联网云数据挖掘架构,该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群;采用车联网数据挖掘算法进行数据挖掘;采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构,提高了面向海量数据的支撑能力;通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术,优化流数据等车联网特有数据的支持;基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法,提升系统的智能化水平。
-
公开(公告)号:CN102981857A
公开(公告)日:2013-03-20
申请号:CN201210514328.6
申请日:2012-12-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种数据库集群的并行压缩海量数据装载方法,其主要技术特点是:包括步骤1:建立包括数据装载工具、驱动程序和数据库集群的并行压缩海量数据装载的组件架构;步骤2、客户端通过数据装载工具和驱动程序向数据库集群发送数据装载命令,获取各个数据库节点的连接信息后,连接各个数据库并且发送需要装载的数据;数据库集群服务器给客户端提供集群各个数据库节点的连接信息以及各个表的相关信息;数据库节点接收客户端发送过来的数据并存储下来。本发明使用海量数据通信协议以及并行优化处理和压缩优化处理方法,充分利用服务器的多CPU和网络资源并融合在海量数据装载过程中,提升了数据库集群的搭建速度。
-
公开(公告)号:CN115145961B
公开(公告)日:2025-05-16
申请号:CN202210778517.8
申请日:2022-07-01
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/901
Abstract: 本发明涉及一种神通数据库三层缓存段搜索管理结构及页面查找方法,其技术特点是:包括线程级缓存、段搜索全局缓存和物理空间;线程级缓存是一个线程的局部缓存;段搜索全局缓存包括全局缓存结点及全局缓存结点管理的一批空闲页面项,每个缓存结点管理的页面项按照空闲空间档位组织成多级链表;物理空间采用PFS页面进行管理,段内所有PFS页面均为多叉树状结构,一个PFS页面管理若干个数据页面,每个PFS页面记录一批数据页面以及它们的空间空闲值。本发明设计合理,提高了多线程并发查找页面的性能,有效地提高了并发性和吞吐率,解决了每次查找页面时都去访问段的PFS树造成大量I/O以及多个线程并发对PFS树进行搜索时产生的资源竞争的问题。
-
公开(公告)号:CN115174452B
公开(公告)日:2024-05-31
申请号:CN202210765191.5
申请日:2022-07-01
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于Oracle数据库协议代理的应用移植方法,其技术特点是:使用TNS协议代理程序对原Oracle网络进行拦截及监听;建立应用与TNS协议代理程序之间的连接、TNS协议代理程序与神通数据库之间的连接以及两个连接的映射关系;应用客户端通过TNS协议代理程序进行认证授权;认证授权后,TNS协议代理程序解析应用客户端发送的数据包并转发给神通数据库处理,神通数据库处理后通过TNS协议代理程序将处理结果发送给Oracle驱动。本发明采用将通信协议翻译转换为与神通数据库之间的协议模式,有效地解决了缺少应用系统源码难以进行移植的问题,并且任何语言开发的应用系统都可以访问神通数据库,提高了开发效率、降低了开发难度、扩大了应用范围。
-
公开(公告)号:CN117149885B
公开(公告)日:2024-01-26
申请号:CN202311422024.1
申请日:2023-10-31
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/25 , G06F16/23 , G06F16/242 , G06F16/2458 , G06F16/27
Abstract: 本发明公开了一种基于数据库主节点转发的读写分离实现方法,包括:步骤1:数据库主节点接收应用程序发送过来的SQL语句;步骤2:对SQL语句进行语法解析和语义分析,获得SQL语句类型以及操作的对象ID;步骤3:判断SQL语句是否为只读操作;步骤4:如果是,将SQL语句发送到从节点执行,等待接收到从节点执行结果后返回客户端;否则,直接在主节点执行SQL语句,将执行结果返回客户端;步骤5:如果不是,在主节点执行SQL语句;记录SQL语句更新的所有对象的ID;事务提交时,将本事务更新过的所有对象ID对应的LSN设置为本事务的提交LSN,供后续只读语句执行到步骤4时使用。因此主数据库可以专注于处理写操作,从而提高了写操作的性能和响应时间。
-
公开(公告)号:CN116360709A
公开(公告)日:2023-06-30
申请号:CN202310629133.4
申请日:2023-05-31
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F3/06
Abstract: 本发明提供一种数据存取系统,包括,第一SSD缓存阵列,包括多个并联的SSD存储器;处理器,分别连接到多个并联的SSD存储器;第二双SSD目录备份存储器,包括两个互为备份的SSD存储器,且与第一SSD缓存阵列相连;第一HDD磁盘阵列,包括多个HDD磁盘,用于存储数据;多个传感器,用于探测SSD存储器和HDD磁盘的状态数据;性能管理单元,包括第一接口,分别连接到第一SSD缓存阵列中的每个SSD存储器;第三接口,分别连接到第一HDD磁盘阵列中的每个HDD磁盘;第二接口,与处理器相连;第四接口,连接到多个传感器,获取传感器探测的状态数据;第五接口,连接到第二双SSD目录备份存储器。
-
公开(公告)号:CN110196859A
公开(公告)日:2019-09-03
申请号:CN201910495097.0
申请日:2019-06-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/23 , G06F16/242 , G06F16/27
Abstract: 本发明涉及一种基于JDBC分发器的数据库读写分离集群实时一致性方法,包括以下步骤:应用程序调用神通数据库JDBC驱动建立数据库连接时,由神通数据库JDBC驱动创建读写分离分发器;应用程序通过神通数据库JDBC在已建立的数据库连接上发送SQL语句,读写分离分发器对输入的SQL语句进行分析,生成执行策略:如果是主机执行策略,则读写分离分发器将SQL语句分发到主机执行并返回执行结果,如果是备机执行策略,则读写分离分发器将SQL语句分发到备机执行并返回执行结果。本发明设计合理,既可以通过备份服务分担主机的负载,又保证了数据查询的一致性,用户应用程序可以在不做任何修改的情况下直接利用读写分离系统提高并发性。
-
公开(公告)号:CN119493799A
公开(公告)日:2025-02-21
申请号:CN202411551914.7
申请日:2024-11-01
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/22 , G06F16/2455 , G06F16/27
Abstract: 本申请实施例公开了分布式自增序列同步方法、装置、设备及存储介质。该方法包括:在分布式数据库集群中,设置一个主节点和多个从节点,主节点用于维护全局自增序列值;从节点根据预设的缓存参数,向主节点请求分配局部自增序列,主节点根据全局自增序列值计算局部自增序列的起始值,并分配预设数量的连续自增序列值至从节点;从节点将局部自增序列缓存至本地;当从节点缓存的局部自增序列耗尽时,向主节点发出新的分配请求,主节点根据当前全局自增序列值重新分配新的局部自增序列。本申请通过在分布式数据库集群环境中设置一个主节点和多个从节点,并由主节点统一管理全局自增序列值,实现了分布式环境下自增序列的可靠生成。
-
公开(公告)号:CN116756093B
公开(公告)日:2023-11-03
申请号:CN202311038429.5
申请日:2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质,所述方法包括:获取待存储的大对象,确定大对象的类型;对大对象执行第一类存储操作,包括:根据大对象的类型,确定大对象的索引信息和索引信息存储方式;按照索引信息存储方式存储索引信息,以及,若索引信息不包括大对象的数据内容,则将大对象的数据内容存储到大对象段;或,对大对象执行第二类存储操作,包括:根据大对象的类型,判断是否需要生成大对象的索引信息;若是,则根据大对象的类型,确定大对象的索引信息和索引信息存储方式,按照索引信息存储方式存储索引信息,并将大对象的数据内容存储到大对象段;或,若否,则将大对象的数据内容存储到大对象属性列。
-
公开(公告)号:CN115174452A
公开(公告)日:2022-10-11
申请号:CN202210765191.5
申请日:2022-07-01
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于Oracle数据库协议代理的应用移植方法,其技术特点是:使用TNS协议代理程序对原Oracle网络进行拦截及监听;建立应用与TNS协议代理程序之间的连接、TNS协议代理程序与神通数据库之间的连接以及两个连接的映射关系;应用客户端通过TNS协议代理程序进行认证授权;认证授权后,TNS协议代理程序解析应用客户端发送的数据包并转发给神通数据库处理,神通数据库处理后通过TNS协议代理程序将处理结果发送给Oracle驱动。本发明采用将通信协议翻译转换为与神通数据库之间的协议模式,有效地解决了缺少应用系统源码难以进行移植的问题,并且任何语言开发的应用系统都可以访问神通数据库,提高了开发效率、降低了开发难度、扩大了应用范围。
-
-
-
-
-
-
-
-
-