公开(公告)号：CN118820216A

公开(公告)日：2024-10-22

申请号：CN202410887217.2

申请日：2024-07-03

Applicant: 广西北投信创科技投资集团有限公司

Inventor： 潘华 ,  徐威 ,  韦港荣 ,  徐梓容 ,  陈齐风 ,  黄滟

IPC: G06F16/215 ,  G06F16/951 ,  G06F16/25 ,  G06F16/2458 ,  G06F16/26

Abstract: 本发明涉及数据抽取分析技术领域，提供一种数据要素抽取分析系统及数据要素抽取分析方法，包括：数据整合模块，所述数据整合模块用于通过互联网获取并采集各类需求系统数据，并进行整合形成一个综合数据归集；数据过滤模块，所述数据过滤模块用于根据所采集的每种数据确定至少一种数据筛选机制，并设定的筛值；数据提炼模块，所述数据提炼模块用于根据实时的数据增量，对关键数据信息进行抽取，期间对数据中敏感数据进行脱敏处理。通过对源数据中各种类型的数据进行清洗，可以灵活的设置抽取模型，使得要素抽取过程中，抽取方式多样、灵活，提高了该系统的实用性，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。

公开(公告)号：CN116975116A

公开(公告)日：2023-10-31

申请号：CN202310958725.0

申请日：2023-08-01

Applicant: 广西北投信创科技投资集团有限公司

Inventor： 谈超洪 ,  周飞 ,  彭新永 ,  陈吉宁 ,  李森 ,  潘华 ,  黄滟 ,  唐辉辉 ,  韦冬 ,  冯大钊

IPC: G06F16/2457 ,  G06F16/242 ,  G06F16/2453 ,  G06F16/2455

Abstract: 本发明提供一种大数据分析系统的数据条件筛选方法，涉及数据库数据筛选技术领域。该大数据分析系统的数据条件筛选方法，包括以下步骤：S1.数据获取、S2.数据预处理、S3.定制筛选条件、S4.数据查询、S5.数据过滤、S6.数据聚合和分析。本发明的大数据分析系统的数据条件筛选方法基于SQL重写的数据过滤技术，可以充分利用数据库系统的优化器和执行引擎来优化查询计划，从而提高查询性能并减少资源消耗，数据过滤技术能够过滤部分信息数据而得到特定的数据，使其满足不同场景下不同实际业务的需求，且可以同时处理大规模数据集上的数据条件筛选操作，实现数据分析的高效性和实时性，并提供准确和可靠的数据分析结果，极大地提高了开发效率和代码的可靠性。