-
公开(公告)号：CN116996505B
公开(公告)日：2023-12-15
申请号：CN202311252984.8
申请日：2023-09-27
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/06 , H04L67/288 , H04L67/56 , H04L67/60
Abstract: 本发明提供一种基于调度引擎的文件交换控制方法和系统，包括：定义文件交换任务，向调度引擎中的API节点发送启动文件交换任务请求；调度引擎中的API节点收到任务请求后，生成启动任务的调度命令；调度引擎中的多个调度节点轮询调度命令；当某个调度节点捕获到调度命令后，对调度命令加上分布式锁，阻止其他调度节点获取；该调度节点选择一个执行节点，向该执行节点发送文件交换任务指令；执行节点接收到任务指令后，对任务信息进行解析，获取任务类型，以及任务指定的交换节点，向交换节点发送文件交换请求；交换节点对待交换的文件进行切片后，根据并发数设置，调用文件交换服务并发交换文件；服务端并发接收并存储文件。
-
公开(公告)号：CN112100190B
公开(公告)日：2023-12-15
申请号：CN202010993803.7
申请日：2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于更新序列的分布式锁状态同步方法，其主要技术特点是：在每个从节点锁对象上设置更新序列，主节点维护各个从节点持有锁状态的记录，并在每个记录上设置更新序列；从节点向主节点发送加锁请求；主节点根据请求节点锁状态进行加锁处理，返回加锁成功消息，或者向当前持有锁的冲突节点发送放锁请求；从节点收根据从节点锁状态进行放锁处理并返回放锁成功消息；主节点检查冲突节点锁状态当前的更新序列，再次尝试加锁处理；从节点检查锁状态当前的更新序列并再次尝试加锁。本发明设计合理，能够有效地维护各个节点之间锁状态的一致性，保证了数据库服务的正常运行，防止数据库服务的中断，提高了系统运行的安全性和可靠性。
-
公开(公告)号：CN116996505A
公开(公告)日：2023-11-03
申请号：CN202311252984.8
申请日：2023-09-27
Applicant: 天津神舟通用数据技术有限公司
IPC: H04L67/06 , H04L67/288 , H04L67/56 , H04L67/60
Abstract: 本发明提供一种基于调度引擎的文件交换控制方法和系统，包括：定义文件交换任务，向调度引擎中的API节点发送启动文件交换任务请求；调度引擎中的API节点收到任务请求后，生成启动任务的调度命令；调度引擎中的多个调度节点轮询调度命令；当某个调度节点捕获到调度命令后，对调度命令加上分布式锁，阻止其他调度节点获取；该调度节点选择一个执行节点，向该执行节点发送文件交换任务指令；执行节点接收到任务指令后，对任务信息进行解析，获取任务类型，以及任务指定的交换节点，向交换节点发送文件交换请求；交换节点对待交换的文件进行切片后，根据并发数设置，调用文件交换服务并发交换文件；服务端并发接收并存储文件。
-
公开(公告)号：CN116644090A
公开(公告)日：2023-08-25
申请号：CN202310931499.7
申请日：2023-07-27
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F16/215 , G06F16/2455 , G06F16/9035
Abstract: 本申请公开了一种数据查询方法、装置、设备及介质，数据查询方法包括：获取数据查询请求，根据数据查询请求生成数据限制指令和数据扫描指令；其中，若数据查询请求中包含数据筛选规则，则数据限制指令中包含与数据筛选规则对应的数据筛选条件；若数据限制指令中包含数据筛选条件，则将数据筛选条件添加到数据扫描指令中；根据数据扫描指令执行数据扫描操作，按照数据限制指令从扫描到的数据得到目标数据，目标数据为数据查询请求对应的数据查询结果；其中，根据数据扫描指令执行数据扫描操作包括：若数据扫描指令中包含数据筛选条件，则根据数据筛选条件确定无需扫描的数据，并对需要扫描的数据进行扫描。
-
公开(公告)号：CN115309837A
公开(公告)日：2022-11-08
申请号：CN202210930836.6
申请日：2022-08-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/28 , G06F16/2457 , G06Q30/02
Abstract: 本发明涉及一种基于列式存储的流水排序方法，其技术特点是：包括异步IO线程、流水化线程和排序线程，其根据所有CU的元信息构建CU序列，并根据CU序列的最小值信息构造边界序列，在排序过程中，将CU视为一个数据集合，对于相邻的两个CU，使用后一个CU的最小值做边界将数据划分为两部分，前一部分可以作为子集合单独排序，后一部分和第二个CU组成一个新的集合，再和后面的CU继续进行相同的处理，实现流水排序。本发明设计合理，实现了对采用列式存储并且近似有序的数据集合进行快速排序功能，具有处理速度快、占用资源小等特点。
-
Patent Agency Ranking
公开(公告)号：CN112099996A
公开(公告)日：2020-12-18
申请号：CN202010993792.2
申请日：2020-09-21
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于页面更新序号的数据库集群多节点重做日志恢复方法，包括以下步骤：在页面头部分配空间作为页面更新序号；集群中所有的节点在更新数据页面时，更新页面更新序号和本节点的重做日志；重新启动数据库集群，最先启动的节点成为主节点，由主节点进行实例恢复；主节点从共享磁盘加载控制文件，从控制文件中读取每一个节点的重做日志信息作为扫描句柄，保存在扫描句柄数组中；遍历所有的扫描句柄，恢复重做日志；所有扫描句柄已经扫描完毕，重做日志恢复结束。本发明在新增重做日志和在实例恢复时，利用页面更新序号判断页面是否连续，将相同页面在不同节点之间的修改按序恢复，保证数据的一致性，提高了系统运行的可靠性。
-
公开(公告)号：CN110533112A
公开(公告)日：2019-12-03
申请号：CN201910830182.8
申请日：2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06K9/62
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法，其主要技术特点是：建立车联网云数据挖掘架构，该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群；采用车联网数据挖掘算法进行数据挖掘；采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构，提高了面向海量数据的支撑能力；通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术，优化流数据等车联网特有数据的支持；基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法，提升系统的智能化水平。
-
公开(公告)号：CN110222035A
公开(公告)日：2019-09-10
申请号：CN201910495162.X
申请日：2019-06-10
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种基于异或校验与日志恢复的数据库页面高效容错方法,包括以下步骤：计算数据页面对应的校验码并保存在数据页面的头部中；从存储介质中读取数据页面到内存中时，通过校验码判断数据页面是否损坏；在启动数据库进行实例恢复的过程中，则将数据损坏页面跳过以使数据库正常启动，启动后提醒用户在哪个数据库对象中出现了数据页面损坏；启动数据库成功之后，确定哪个表出现了页面损坏问题，用户通过专门的SQL来对该表的损坏页面进行处理。本发明设计合理，其在数据页面内存储数据页面的异或运算校验码用于实时检测页面是否出现损坏，可成功恢复已损坏的数据，减少用户的数据损失。
-
公开(公告)号：CN102750368B
公开(公告)日：2014-03-26
申请号：CN201210200158.4
申请日：2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。
-
公开(公告)号：CN102750368A
公开(公告)日：2012-10-24
申请号：CN201210200158.4
申请日：2012-06-18
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库集群数据高速导入方法，其技术特点是：包括以下步骤：步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。本发明的数据导入驱动组件，解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求。
-
-
-
-
-
-
-
-
-
Search Results
40
records
(took 0.083 seconds)
