一种基于关系型数据库的数据质量问题数据存储方法

    公开(公告)号:CN118626495B

    公开(公告)日:2024-11-01

    申请号:CN202411087926.9

    申请日:2024-08-09

    Abstract: 本发明涉及数据加工技术领域,特别涉及一种基于关系型数据库的数据质量问题数据存储方法。该基于关系型数据库的数据质量问题数据存储方法,按照固定顺序进行质量结果的加工整理,依次判断问题数据是否违反了对应顺序索引的检测标准;对问题数据中的问题字段,进行整理及存储;通过设置质量规则的计算标准值以及问题数据的质量标准值,并分别与质量规则的问题数据检测结果以及问题记录的字段违规结果进行位运算计算求值,实现查询统计。该基于关系型数据库的数据质量问题数据存储方法,可以快速的对问题数据的总体特征及关键属性进行筛选与统计,大大提供了计算效率,降低了存储问题数据的空间,通过构建新的存储结构降低了存储的内存消耗。

    基于业务对象的知识库构建方法及系统

    公开(公告)号:CN115374291A

    公开(公告)日:2022-11-22

    申请号:CN202211011781.5

    申请日:2022-08-23

    Abstract: 本发明公开了基于业务对象的知识库构建方法及系统,属于计算机应用技术领域,要解决的技术问题为如何从业务视角和知识视角结合构建知识库,以实现行业知识的高效性、连续性。包括如下步骤:构建基于组织、对象、行为、事项和数据的行业知识体系;通过行业专家和业务专家联合进行知识梳理,识别核心业务对象;对对象和事项进行梳理,确定对象和事项的组成结构;梳理对象之间、对象与事项之间的关联关系,形成以核心业务对象为体系的知识图谱;梳理业务规则以及对象约束;基于对象和事项整合数据资源,梳理数据覆盖度,打通数据通道;通过数据处理工具对数据进行处理,并监控数据处理任务。

    一种基于NIFI进行数据清洗转换的埋点记录方法

    公开(公告)号:CN119003310A

    公开(公告)日:2024-11-22

    申请号:CN202411463802.6

    申请日:2024-10-21

    Abstract: 本发明提供一种基于NIFI进行数据清洗转换的埋点记录方法,属于互联网应用中的大数据领域,本发明通过对原有的数据清洗转换处理流程进行埋点装置配置实现对每个数据清洗转换处理器的执行日志以及问题数据记录。通过定义埋点处理器来接收清洗转换处理器的结果数据进行定向的分析与记录,实现对整个数据清洗转换任务中不同清洗转换处理器执行结果的分析与监控。可以记录相关的问题数据及每次清洗转换的数据记录日志信息,大大的减少问题排查的时间及人力成本。

    一种基于关系型数据库的数据质量问题数据存储方法

    公开(公告)号:CN118626495A

    公开(公告)日:2024-09-10

    申请号:CN202411087926.9

    申请日:2024-08-09

    Abstract: 本发明涉及数据加工技术领域,特别涉及一种基于关系型数据库的数据质量问题数据存储方法。该基于关系型数据库的数据质量问题数据存储方法,按照固定顺序进行质量结果的加工整理,依次判断问题数据是否违反了对应顺序索引的检测标准;对问题数据中的问题字段,进行整理及存储;通过设置质量规则的计算标准值以及问题数据的质量标准值,并分别与质量规则的问题数据检测结果以及问题记录的字段违规结果进行位运算计算求值,实现查询统计。该基于关系型数据库的数据质量问题数据存储方法,可以快速的对问题数据的总体特征及关键属性进行筛选与统计,大大提供了计算效率,降低了存储问题数据的空间,通过构建新的存储结构降低了存储的内存消耗。

    基于数字信封的政务数据共享交换方法、设备及介质

    公开(公告)号:CN118101260A

    公开(公告)日:2024-05-28

    申请号:CN202410179610.6

    申请日:2024-02-18

    Abstract: 本发明公开了基于数字信封的政务数据共享交换方法、设备及介质,属于政务数据共享技术领域,本发明要解决的技术问题为如何保证数据共享交换过程中的数据传输安全,采用的技术方案为:该方法是在政务数据共享交换过程中,政务数据共享交换平台之间的安全保障措施包括身份验证和数据加密传输;同时,数据应用单位在政务数据共享交换平台上,按照最少够用原则申请数据服务接口通过后,政务数据共享交换平台线下与应用系统交互SM2相关身份凭证信息,应用系统使用凭证获取token以及SM4密钥后,开展实际业务数据服务接口调用。

    一种动态配置的数据质量评价方法及装置

    公开(公告)号:CN117390009A

    公开(公告)日:2024-01-12

    申请号:CN202311697147.6

    申请日:2023-12-12

    Abstract: 本发明涉及大数据技术领域,具体提供了一种动态配置的数据质量评价方法及装置,具有如下步骤:S1、数据质量计算规则应根据业务数据的综合需求,定义数据质量控制的标准和规范,进而定义、监控和报告数据质量水平;S2、每个数据质量维度对应不同的质量检测规则,用户自定义配置不同规则权重,每一个维度下,权重总和为1;S3、数据质量检测维度评分标准;S4、数据资源综合评分标准;S5、评分计算规则说明。与现有技术相比,本发明能够针对每一组数据定向的去配置规则从而得出更符合业务需求的实际数据质量分数,从而得分评判数据质量的优劣情况。

    一种基于NIFI进行数据清洗转换的埋点记录方法

    公开(公告)号:CN119003310B

    公开(公告)日:2025-03-18

    申请号:CN202411463802.6

    申请日:2024-10-21

    Abstract: 本发明提供一种基于NIFI进行数据清洗转换的埋点记录方法,属于互联网应用中的大数据领域,本发明通过对原有的数据清洗转换处理流程进行埋点装置配置实现对每个数据清洗转换处理器的执行日志以及问题数据记录。通过定义埋点处理器来接收清洗转换处理器的结果数据进行定向的分析与记录,实现对整个数据清洗转换任务中不同清洗转换处理器执行结果的分析与监控。可以记录相关的问题数据及每次清洗转换的数据记录日志信息,大大的减少问题排查的时间及人力成本。

    基于ASPE的数据库加密方法及系统
    10.
    发明公开

    公开(公告)号:CN118378271A

    公开(公告)日:2024-07-23

    申请号:CN202410162384.0

    申请日:2024-02-05

    Abstract: 本发明公开了基于ASPE的数据库加密方法及系统,属于数据加密技术领域,要解决的技术问题为:如何在不泄露明文数据的前提下实现数据库加密。包括如下步骤:通过可信代理服务器基于安全参数、通过可信代理服务器生成密钥,密钥包括用于安全加密层的安全密钥以及用于范围加密层的范围密钥;可信服务器基于密钥对添加数据请求中指定的添加数据进行字段映射、安全加密、范围加密和密文索引陷门生成操作,对于需要建立索引的字段,对应的二叉树节点并将二叉树节点插入二叉树形式的索引结构中;云服务器基于二叉树以及安全加密密文和范围加密密文之间的关联关系进行匹配查询。

Patent Agency Ranking