一种不均衡数据的异常识别与修复方法及系统

    公开(公告)号:CN117743938B

    公开(公告)日:2025-01-28

    申请号:CN202311785567.X

    申请日:2023-12-22

    Abstract: 本发明属于数据治理技术领域,具体涉及一种不均衡数据的异常识别与修复方法及系统。所述方法包括不均衡混合数据聚类分析、异常数据识别与特征定位、异常数据修复三部分内容,首先提出了基于代价优化的混合聚类算法,解决不均衡数据集下混合数据的有效聚类问题,实现同一聚类簇内数据具有高度相似性;其次提出一种基于孤立森林的异常特征定位算法,解决以往无监督异常检测算法仅能定位到异常记录而无法识别记录中具体异常特征的问题,实现问题数据的准确定位;最后提出基于异构变分自编码器的数据修复模型,实现对混合数据异常的可信修复,解决以往人工智能方法在数据修复过程中受数据分布和噪声数据干扰过大导致修复数据可信度不高的问题。

    一种基于大数据的行迹相似对象识别方法与系统

    公开(公告)号:CN108595539B

    公开(公告)日:2021-09-03

    申请号:CN201810299875.4

    申请日:2018-04-04

    Abstract: 本发明属于数据分析领域,涉及一种基于大数据的行迹相似对象识别方法与系统。本发明利用空间归一化模块、数据整理模块、空间点位序列生成模块、行为轨迹序列提取模块、行为矩阵生成模块、行为矩阵运算模块依次连接,对行迹位置原始数据构建行迹标识字典;依据行迹标识字典标准化传入数据;统合属于每个对象的行迹点位数据;构建每个对象在时间窗口内的行迹点位序列;对每个对象的行迹点位序列生成位移轨迹序列;构建行为计算矩阵来计算轨迹相似度;输出行为相似性符合条件的结果。本发明通过获取分析不同对象的空间位置移动信息并利用算法计算不同对象空间位置变化相互间的相似度,探究对象之间的相似性关系、识别及寻找行为相似的对象与群体。

    基于混合计费数据的电力计费公平性智能分析系统及方法

    公开(公告)号:CN111062620A

    公开(公告)日:2020-04-24

    申请号:CN201911315191.X

    申请日:2019-12-19

    Abstract: 本发明公开了一种基于混合计费数据的电力计费公平性智能分析系统及方法,属于电力计费领域,该分析系统包括数据集成部分、数据处理部分、模型训练部分、公平性分析模块和输出模块;数据处理部分的输入端与数据集成部分的输出端进行连接,数据处理部分的输出端与模型训练部分的输入端进行连接,公平性分析模块的输入端与模型训练部分的输出端进行连接。本发明通过计算每条数据对整个数据集的加权总熵产生的信息增益,实现对档案异常水平的评估及档案数据异常的筛选;通过计算每个用户的实际用电特征向量与该用户每种档案特征的特征值所涉及的所有用户样本的平均用电特征向量偏离程度识别档案属性相同情况下该用户的用电行为数据是否异常。

    一种基于多源时空数据组配的目标辨识方法与系统

    公开(公告)号:CN108573039A

    公开(公告)日:2018-09-25

    申请号:CN201810302288.6

    申请日:2018-04-04

    Abstract: 本发明属于数据处理领域,具体涉及一种基于多源时空数据组配的目标辨识方法与系统。本发明包括空间归一化模块、时间归一化模块、用于对原始数据进行标准化处理的数据标准化模块,异源数据连接模块,组配初始化模块和分组结合计数及匹配结果判断模块,以及结果验证模块和历史数据连接及世代审验模块,利用以上模块将信源空间特征归一化,对不同信源的数据进行空间时间维度标准化,以某一选定数据源为驱动,设置其数据标识码为关键字,将与其在同时同地出现的来自其他数据源的数据标识码进行整合和计数。本发明采取先拆分计算再合并结果的方式分步计算,处理海量数据,对设备性能的适应性较高,计算灵活,实时性较高,结果准确。

    一种深度学习驱动的异常识别与修复方法及智能化系统

    公开(公告)号:CN113240011A

    公开(公告)日:2021-08-10

    申请号:CN202110528781.1

    申请日:2021-05-14

    Abstract: 本发明涉及数据处理领域,具体涉及一种深度学习驱动的异常识别与修复方法及智能化系统。包括以下步骤:S1:数据结构识别,S2:数据特征变换,S3:训练异常检测和修复神经网络,S4:异常数据识别与异常修复,S5:数据特征还原。采用深度学习方法,对每个特征使用双分量混合模型,其中一个分量用于解释干净单元(即正常值),另一个分量用于解释异常单元(即异常值);通过降低异常单元的影响来模拟潜在的正常数据分布,为数据单元提供异常值分数和对单元修复的估计;将变分自编码器和生成对抗网络两个深度生成模型进行结合,有利于生成更好的修复结果;最终实现利用无监督学习方式对混合属性数据进行cell‑level(单元级别)的异常识别及修复。

    一种不均衡数据的异常识别与修复方法及系统

    公开(公告)号:CN117743938A

    公开(公告)日:2024-03-22

    申请号:CN202311785567.X

    申请日:2023-12-22

    Abstract: 本发明属于数据治理技术领域,具体涉及一种不均衡数据的异常识别与修复方法及系统。所述方法包括不均衡混合数据聚类分析、异常数据识别与特征定位、异常数据修复三部分内容,首先提出了基于代价优化的混合聚类算法,解决不均衡数据集下混合数据的有效聚类问题,实现同一聚类簇内数据具有高度相似性;其次提出一种基于孤立森林的异常特征定位算法,解决以往无监督异常检测算法仅能定位到异常记录而无法识别记录中具体异常特征的问题,实现问题数据的准确定位;最后提出基于异构变分自编码器的数据修复模型,实现对混合数据异常的可信修复,解决以往人工智能方法在数据修复过程中受数据分布和噪声数据干扰过大导致修复数据可信度不高的问题。

Patent Agency Ranking