一种自适应数据脱敏方法
    1.
    发明公开

    公开(公告)号:CN116401711A

    公开(公告)日:2023-07-07

    申请号:CN202310417816.3

    申请日:2023-04-19

    Abstract: 本发明公开了一种自适应数据脱敏方法,包括如下步骤:步骤一,数据抽取利用Sqoop技术从常用数据库、时序数据库、以及文件或FTP接口进行抽取,数据抽取过程保证原始数据的完整性,以及数据之间的逻辑关系完整;步骤二,数据脱敏通过数据脱敏算法库中的脱敏算法实现对敏感数据的转换,在脱敏过程中保持数据的关联性和完整性,确保数据在同一系统中的一致性;步骤三,数据分发数据脱敏后,通过数据库、文件、FTP接口进行分发。本发明以应用需求为导向,以脱敏策略驱动脱敏规则动态生成的方法,使脱敏结果有据可依且具有可重复性。使用成本低,并且便于算法和应用的扩展。

    一种基于GPU的Spark SQL加速方法
    4.
    发明公开

    公开(公告)号:CN116303550A

    公开(公告)日:2023-06-23

    申请号:CN202310417348.X

    申请日:2023-04-19

    Abstract: 本发明公开一种基于GPU的Spark SQL加速方法,包括以下步骤:Spark SQL由投影、数据和条件组成,分别对应SQL查询过程中的结果、数据和操作,SQL语句按结果、数据和操作次序来描述;对读入的SQL语句进行解析,分辨出SQL语句中的关键词、表达式,从而判断SQL语句是否规范,进而形成执行树,将执行树和数据字典进行绑定和执行,在这些计划中选择一个最优计划执行。GPU使用Cuda语句可实现SQL中常用的数据组合、排序等操作,从而对数据查询等操作实现大幅加速。本发明将GPU与Spark平台相结合,将SQL的运算操作从CPU转移到GPU执行,实现对Spark SQL运算的提速。无需应用修改代码,无需额外增加服务器节点,可以直接节省硬件投资和系统维护成本。

    一种基于日负荷曲线的行业用户开工监测方法

    公开(公告)号:CN110729718A

    公开(公告)日:2020-01-24

    申请号:CN201910879729.3

    申请日:2019-09-18

    Abstract: 本发明公开了一种基于日负荷曲线的行业用户开工监测方法,包括日负荷曲线计算模块、曲线合并模块、模式划分模块和判断生产模式模块;日负荷曲线计算模块计算所有日负荷曲线间的距离;计算出负荷曲线之间的距离后,通过曲线合并模块将距离最短的两条曲线归为一类,以此类推直至剩下四类曲线;在模式划分模块计算每一类典型日负荷曲线的负荷率、峰谷差率、最大负荷率,最大负荷出现的时间,并将其划分为正常开工模式、间歇停工模式、停工模式;在判断生产模式模块,根据一系列规则将开工模式、间歇性停工模式、停工模式做进一步划分。本发明解决了用电大户开工监测的问题,在一定程度上减少了电力公司的人力、财力的投入。

Patent Agency Ranking