-
公开(公告)号:CN118446428A
公开(公告)日:2024-08-06
申请号:CN202410680308.9
申请日:2024-05-29
Applicant: 北京星航机电装备有限公司 , 天津神舟通用数据技术有限公司
IPC: G06Q10/063 , G06Q50/04 , G06F16/242 , G06F16/25 , G06F16/28 , G06F16/2453 , G06F16/26
Abstract: 本申请涉及数据治理领域,具体包括面向航天离散制造的数据治理方法及系统,包括:数据采集:对航天离散制造的数据进行采集,支持对多种结构化、非结构化数据的采集;数据处理:对采集后的数据进行敏感发现,数据脱敏、数据标准化;数据源统一适配:将多数据源的数据处理后进行数据适配,便于查询;数据可视化映射:对数据源统一适配后的数据通过进行数据转换、数据可视化映射、java‑Echart转化实现数据可视化;数据可视化交互:支持多种用户数据交互分析方式,主要分为图表筛选和用户交互两部分,通过交互生成对应的图表进行展示。能有效打通各科研生产应用系统数据壁垒,提高整体运行效能。
-
公开(公告)号:CN116910099B
公开(公告)日:2023-11-17
申请号:CN202311139421.8
申请日:2023-09-06
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2455 , G06F16/22 , G06F16/2453 , G06F16/2458
Abstract: 本申请公开了一种数据处理方法、装置、设备及介质,数据处理方法包括:获取各第一数据单元和各第二数据单元,其中,各第一数据单元和各第二数据单元分别由第一数据集和第二数据集中的目标数据得到;对各第一数据单元和各第二数据单元执行条件过滤操作,根据第一关联条件对经条件过滤操作后剩余的各第一数据单元和各第二数据单元进行关联过滤操作;对经关联过滤操作后剩余的各第一数据单元执行重组操作,得到各第一数据单元集;根据第一数据单元集对经关联过滤操作后剩余的各第二数据单元执行重组操作,得到各第二数据单元集;其中,各第一数据单元集无交集;对具有映射关系的第一数据单元集和第二数据单元集执行数据处理操作,得到数据处理结果。
-
公开(公告)号:CN116737803B
公开(公告)日:2023-11-17
申请号:CN202311004734.2
申请日:2023-08-10
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/2458 , G06F3/0486 , G06F9/50 , G06F16/26
Abstract: 本发明提供了一种基于有向无环图的可视化数据挖掘编排方法。用户可以从预设的数据处理组件库中拖拽一个或多个组件到画布中,并建立连线关系形成有向无环图,并显示在界面上。用户设置组件的参数信息后,这些参数会自动加载到有向无环图中。流程编排完成后,生成数据传递到后台进行处理。在流程运行过程中,提供状态监控和日志查看功能。同时,有向无环图还具备版本管理的能力。本发明通过结合前端可视化技术和有向无环图的形式,解决了传统数据挖掘工具复杂、门槛高以及使用成本不断增加的问题。
-
公开(公告)号:CN110533112B
公开(公告)日:2023-04-07
申请号:CN201910830182.8
申请日:2019-09-04
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F18/23213 , G06F18/2411 , G06F18/25
Abstract: 本发明涉及一种车联网大数据跨域分析融合方法,其主要技术特点是:建立车联网云数据挖掘架构,该车联网云数据挖掘架构包括分布式数据访问引擎、并行挖掘引擎及代理节点和Web服务器集群;采用车联网数据挖掘算法进行数据挖掘;采用共享内存并行计算技术实现共享内存的并行功能。本发明采用由分布式数据访问引擎、并行挖掘引擎、Web服务器集群及代理节点构成的可支持并行计算的云数据挖掘架构,提高了面向海量数据的支撑能力;通过数据预处理技术、不确定数据预处理技术车联网行业数据处理与融合技术,优化流数据等车联网特有数据的支持;基于车联网流数据的挖掘、分析、聚类技术、行为识别、异常检测等新型数据挖掘算法,提升系统的智能化水平。
-
公开(公告)号:CN105426427A
公开(公告)日:2016-03-23
申请号:CN201510740873.0
申请日:2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
CPC classification number: G06F16/273 , G06F3/0689 , G06F11/1469 , G06F16/211 , G06F16/2365
Abstract: 本发明涉及一种基于RAID 0存储的MPP数据库集群副本实现方法,其技术特点是包括副本分布算法模块、副本状态维护模块、访问重定向模块、数据一致性维护模块并通过以下步骤实现:进行数据库存储部署;计算副本存储位置;创建副本存储实体;进行副本元信息维护;进行副本数据访问;使用数据一致性维护模块进行副本数据一致性维护。本发明设计合理,其为MPP数据库集群引入系统层面的数据冗余,通过牺牲一定的存储空间来换取数据安全,提高了系统可用性;当出现硬件故障或副本数据被破坏(失效)时,系统自动将对该数据分片的访问导向另一个可用副本,实现对外不间断服务,并且解决单一数据并发访问“过热”问题,提高系统的吞吐性能。
-
公开(公告)号:CN105302638A
公开(公告)日:2016-02-03
申请号:CN201510740736.7
申请日:2015-11-04
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F9/48
Abstract: 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。
-
公开(公告)号:CN101968800B
公开(公告)日:2013-06-05
申请号:CN201010289604.4
申请日:2010-09-21
Applicant: 北京空间飞行器总体设计部 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及基于元数据驱动的动态表单设计方法,包括以下步骤:1)对表单中的单元格进行分类,对每一种类型的单元格建立相应的表单功能集;2)通过元数据描述规则,描述单元格结构,形成元数据库;3)通过元数据引擎从元数据库中获取表单元数据信息,向表单动态地加载元数据;4)选择表单功能集,动态生成用户表单。本发明将用户表单中相对固定的功能操作采用程序的行为控制流来封装;而表单结构、表单中各数据录入方式等和不同的功能操作存在不同关联关系的则采用元数据进行描述。这就将表单功能模块中相对稳定的部分和可变部分进行了明确分开,对表单结构等可变部分采用元数据来描述,提高了表单结构的可操纵性。
-
公开(公告)号:CN102981857A
公开(公告)日:2013-03-20
申请号:CN201210514328.6
申请日:2012-12-04
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明涉及一种数据库集群的并行压缩海量数据装载方法,其主要技术特点是:包括步骤1:建立包括数据装载工具、驱动程序和数据库集群的并行压缩海量数据装载的组件架构;步骤2、客户端通过数据装载工具和驱动程序向数据库集群发送数据装载命令,获取各个数据库节点的连接信息后,连接各个数据库并且发送需要装载的数据;数据库集群服务器给客户端提供集群各个数据库节点的连接信息以及各个表的相关信息;数据库节点接收客户端发送过来的数据并存储下来。本发明使用海量数据通信协议以及并行优化处理和压缩优化处理方法,充分利用服务器的多CPU和网络资源并融合在海量数据装载过程中,提升了数据库集群的搭建速度。
-
公开(公告)号:CN102760161A
公开(公告)日:2012-10-31
申请号:CN201210191566.8
申请日:2012-06-12
Applicant: 天津神舟通用数据技术有限公司
Abstract: 本发明公开了一种按事务聚集的日志组织结构及基于其上的恢复协议,可应用于大型计算机上的事务性数据管理系统。日志文件被顺序组织为若干个日志片,每个日志片存放同一个事务的日志内容,每个日志片保留一份事务号及同事务的前项日志片指针,同个日志片上的日志项所涉及的数据页面号以数组形式存储。系统在运行中,各事务只写自己的日志片,并在事务提交时将日志片写入日志文件。恢复时,通过扫描所有的日志片进行重做,以及回退所有活跃事务的日志片进行回退,使系统恢复到持久的、一致的状态。本发明解决了传统事务性数据管理系统中的写日志并发瓶颈问题,并有效减少了系统日志量。
-
公开(公告)号:CN102004799A
公开(公告)日:2011-04-06
申请号:CN201010609540.1
申请日:2010-12-28
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种数据库冗余数据一致性检验方法,包括如下步骤:数据库主服务器接收到用户操作请求后确认相关备份服务器;数据库主服务器将用户操作请求发送至备份服务器列表中的各备份服务器;各备份服务器执行用户操作请求得到操作结果;各备份服务器计算操作结果的语义校验码;各备份服务器将操作结果和相应的语义校验码发送到校验服务器;校验服务器对操作结果和语义校验码后进行校验并将操作结果或错误信息发送给数据库主服务器;数据库主服务器将接收到的操作结果或错误信息转发给用户。本发明克服了物理层检验方法的局限性,能直接针对执行结果进行检验,有效地降低了需要进行检验操作的数据量,也降低小了检验操作的系统资源消耗。
-
-
-
-
-
-
-
-
-