一种面向数据来源多样化的档案数据处理方法

    公开(公告)号:CN116974989A

    公开(公告)日:2023-10-31

    申请号:CN202310958625.8

    申请日:2023-08-01

    Abstract: 本发明公开了一种面向数据来源多样化的档案数据处理方法,属于档案数据处理领域,包括档案处理方法,由纸质档案处理模块、业务系统档案处理模块、原始数据档案处理模块组成,业务系统档案处理模块包括业务系统后端已建和未建电子文件归档和电子档案管理系统。本发明针对纸质档案处理模块、业务系统档案处理模块和原始数据档案处理模块获取的多来源数据,通过目录关键词核对进行数据重组形成密匙,通过对密匙重合度进行监测,筛选超过阈值的密匙,并对应重合档案数据做出筛选和删除,实现对多来源档案的整理,利用数据库对档案进行存储,并利用设定密匙唯一原则交互为档案数据,避免人工干预,保证数据的可靠性和安全性。

    一种大数据分析系统的数据条件筛选方法

    公开(公告)号:CN116975116A

    公开(公告)日:2023-10-31

    申请号:CN202310958725.0

    申请日:2023-08-01

    Abstract: 本发明提供一种大数据分析系统的数据条件筛选方法,涉及数据库数据筛选技术领域。该大数据分析系统的数据条件筛选方法,包括以下步骤:S1.数据获取、S2.数据预处理、S3.定制筛选条件、S4.数据查询、S5.数据过滤、S6.数据聚合和分析。本发明的大数据分析系统的数据条件筛选方法基于SQL重写的数据过滤技术,可以充分利用数据库系统的优化器和执行引擎来优化查询计划,从而提高查询性能并减少资源消耗,数据过滤技术能够过滤部分信息数据而得到特定的数据,使其满足不同场景下不同实际业务的需求,且可以同时处理大规模数据集上的数据条件筛选操作,实现数据分析的高效性和实时性,并提供准确和可靠的数据分析结果,极大地提高了开发效率和代码的可靠性。

Patent Agency Ranking