-
公开(公告)号:CN105335479A
公开(公告)日:2016-02-17
申请号:CN201510657159.5
申请日:2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
CPC classification number: G06F17/30404 , G06F17/30445 , G06F17/30592 , G06F17/30637
Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法,其技术特点是:对输入SQL语法进行解析;在结构化数据仓库中建立和子查询投影结构一致的临时表;识别全文索引引擎数据分布规则;将基于SQL的简单子查询翻译为全文索引引擎语法,并在全文索引引擎中执行;获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中;完成查询结果导入过程,向数据仓库下发重写后的基于临时表SQL查询语句,并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点,实现对海量文本数据的基于通用SQL语言的统计分析方法,解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题,大大提高了文本数据统计分析的易用性。
-
公开(公告)号:CN105335479B
公开(公告)日:2018-11-23
申请号:CN201510657159.5
申请日:2015-10-12
Applicant: 国家计算机网络与信息安全管理中心 , 天津神舟通用数据技术有限公司
IPC: G06F17/30
Abstract: 本发明涉及一种基于SQL的文本数据统计实现方法,其技术特点是:对输入SQL语法进行解析;在结构化数据仓库中建立和子查询投影结构一致的临时表;识别全文索引引擎数据分布规则;将基于SQL的简单子查询翻译为全文索引引擎语法,并在全文索引引擎中执行;获取全文索引查询结果并将结果导入到结构化数据仓库引擎临时表中;完成查询结果导入过程,向数据仓库下发重写后的基于临时表SQL查询语句,并向客户端返回查询结果。本发明结合全文索引引擎和结构化数据仓库引擎的特点,实现对海量文本数据的基于通用SQL语言的统计分析方法,解决了传统方法统计功能薄弱和结构化数据仓库无法支持高效文本检索的问题,大大提高了文本数据统计分析的易用性。
-
公开(公告)号:CN118446428A
公开(公告)日:2024-08-06
申请号:CN202410680308.9
申请日:2024-05-29
Applicant: 北京星航机电装备有限公司 , 天津神舟通用数据技术有限公司
IPC: G06Q10/063 , G06Q50/04 , G06F16/242 , G06F16/25 , G06F16/28 , G06F16/2453 , G06F16/26
Abstract: 本申请涉及数据治理领域,具体包括面向航天离散制造的数据治理方法及系统,包括:数据采集:对航天离散制造的数据进行采集,支持对多种结构化、非结构化数据的采集;数据处理:对采集后的数据进行敏感发现,数据脱敏、数据标准化;数据源统一适配:将多数据源的数据处理后进行数据适配,便于查询;数据可视化映射:对数据源统一适配后的数据通过进行数据转换、数据可视化映射、java‑Echart转化实现数据可视化;数据可视化交互:支持多种用户数据交互分析方式,主要分为图表筛选和用户交互两部分,通过交互生成对应的图表进行展示。能有效打通各科研生产应用系统数据壁垒,提高整体运行效能。
-
公开(公告)号:CN119494329A
公开(公告)日:2025-02-21
申请号:CN202411551917.0
申请日:2024-11-01
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F40/174 , G06F40/18
Abstract: 本发明涉及一种采集表数据填报方法及系统,通过采用与Excel操作相互兼容的可视化界面设计和线上数据填报方式,实现对各级企事业单位的数据采集工作,通过线上数据填报、数据校验、数据计算、数据汇总等能力,解决了传统人工填报繁琐、数据不准确、数据汇总困难等一系列问题,提高了数据采集的效率和效果,对于提高数据归集利用效率、更好发挥数据价值具有重要的作用。
-
公开(公告)号:CN116756093A
公开(公告)日:2023-09-15
申请号:CN202311038429.5
申请日:2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质,所述方法包括:获取待存储的大对象,确定大对象的类型;对大对象执行第一类存储操作,包括:根据大对象的类型,确定大对象的索引信息和索引信息存储方式;按照索引信息存储方式存储索引信息,以及,若索引信息不包括大对象的数据内容,则将大对象的数据内容存储到大对象段;或,对大对象执行第二类存储操作,包括:根据大对象的类型,判断是否需要生成大对象的索引信息;若是,则根据大对象的类型,确定大对象的索引信息和索引信息存储方式,按照索引信息存储方式存储索引信息,并将大对象的数据内容存储到大对象段;或,若否,则将大对象的数据内容存储到大对象属性列。
-
公开(公告)号:CN116756093B
公开(公告)日:2023-11-03
申请号:CN202311038429.5
申请日:2023-08-17
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/13 , G06F16/172 , G06F16/41
Abstract: 本申请公开了一种大对象存储、查询方法、装置、设备及介质,所述方法包括:获取待存储的大对象,确定大对象的类型;对大对象执行第一类存储操作,包括:根据大对象的类型,确定大对象的索引信息和索引信息存储方式;按照索引信息存储方式存储索引信息,以及,若索引信息不包括大对象的数据内容,则将大对象的数据内容存储到大对象段;或,对大对象执行第二类存储操作,包括:根据大对象的类型,判断是否需要生成大对象的索引信息;若是,则根据大对象的类型,确定大对象的索引信息和索引信息存储方式,按照索引信息存储方式存储索引信息,并将大对象的数据内容存储到大对象段;或,若否,则将大对象的数据内容存储到大对象属性列。
-
公开(公告)号:CN116662373A
公开(公告)日:2023-08-29
申请号:CN202310926727.1
申请日:2023-07-27
Applicant: 天津神舟通用数据技术有限公司
IPC: G06F16/242 , G06F8/41
Abstract: 本申请公开了一种数据访问控制方法、装置、设备及介质,数据访问控制方法包括:获取用于表征数据访问请求的初始SQL语句,对所述初始SQL语句进行解析,生成AST语法树;根据所述AST语法树确定所述初始SQL语句对应的数据访问请求方的访问规则,生成包含所述访问规则的目标SQL语句;执行所述目标SQL语句,以控制所述数据访问请求方按照所述访问规则进行数据访问操作;或使数据源执行所述目标SQL语句,以控制所述数据访问请求方按照所述访问规则进行数据访问操作。
-
-
-
-
-
-