-
公开(公告)号:CN117743938B
公开(公告)日:2025-01-28
申请号:CN202311785567.X
申请日:2023-12-22
Applicant: 烟台海颐软件股份有限公司
IPC: G06F18/241 , G06F18/213 , G06F18/232 , G06N3/0455
Abstract: 本发明属于数据治理技术领域,具体涉及一种不均衡数据的异常识别与修复方法及系统。所述方法包括不均衡混合数据聚类分析、异常数据识别与特征定位、异常数据修复三部分内容,首先提出了基于代价优化的混合聚类算法,解决不均衡数据集下混合数据的有效聚类问题,实现同一聚类簇内数据具有高度相似性;其次提出一种基于孤立森林的异常特征定位算法,解决以往无监督异常检测算法仅能定位到异常记录而无法识别记录中具体异常特征的问题,实现问题数据的准确定位;最后提出基于异构变分自编码器的数据修复模型,实现对混合数据异常的可信修复,解决以往人工智能方法在数据修复过程中受数据分布和噪声数据干扰过大导致修复数据可信度不高的问题。
-
公开(公告)号:CN116128544A
公开(公告)日:2023-05-16
申请号:CN202211642952.4
申请日:2022-12-20
Applicant: 烟台海颐软件股份有限公司
IPC: G06Q30/0201 , G06Q30/0202 , G06Q50/06 , G06F18/214 , G06F18/2431 , G06N20/00
Abstract: 本发明公开了一种电力营销异常营业数据的主动稽核方法和系统,所述方法包括:计算给定待稽核数据中各分类属性间的信息增益率,分析分类属性业务关联;基于分类属性间的相关性分析结果,对存在显著相关性的属性进行拼接,形成新的混合数据;基于新的混合数据,对分类属性进行频数特征变换,生成能够直接输入模型训练的属性特征数据;基于属性特征数据,以增强孤立森林算法为基础构建并训练增强孤立森林模型;以训练好的增强孤立森林模型为基础,计算电力营销营业数据的异常评分;基于电力营销营业数据的异常评分,自适应判别异常群体,得到自适应异常结果;根据输出的自适应异常结果,将其与电力营销营业数据相结合,输出最终的异常判别结果。
-
公开(公告)号:CN117743938A
公开(公告)日:2024-03-22
申请号:CN202311785567.X
申请日:2023-12-22
Applicant: 烟台海颐软件股份有限公司
IPC: G06F18/241 , G06F18/213 , G06F18/232 , G06N3/0455
Abstract: 本发明属于数据治理技术领域,具体涉及一种不均衡数据的异常识别与修复方法及系统。所述方法包括不均衡混合数据聚类分析、异常数据识别与特征定位、异常数据修复三部分内容,首先提出了基于代价优化的混合聚类算法,解决不均衡数据集下混合数据的有效聚类问题,实现同一聚类簇内数据具有高度相似性;其次提出一种基于孤立森林的异常特征定位算法,解决以往无监督异常检测算法仅能定位到异常记录而无法识别记录中具体异常特征的问题,实现问题数据的准确定位;最后提出基于异构变分自编码器的数据修复模型,实现对混合数据异常的可信修复,解决以往人工智能方法在数据修复过程中受数据分布和噪声数据干扰过大导致修复数据可信度不高的问题。
-
公开(公告)号:CN116128544B
公开(公告)日:2024-12-10
申请号:CN202211642952.4
申请日:2022-12-20
Applicant: 烟台海颐软件股份有限公司
IPC: G06Q30/0201 , G06Q30/0202 , G06Q50/06 , G06F18/214 , G06F18/2431 , G06N20/00
Abstract: 本发明公开了一种电力营销异常营业数据的主动稽核方法和系统,所述方法包括:计算给定待稽核数据中各分类属性间的信息增益率,分析分类属性业务关联;基于分类属性间的相关性分析结果,对存在显著相关性的属性进行拼接,形成新的混合数据;基于新的混合数据,对分类属性进行频数特征变换,生成能够直接输入模型训练的属性特征数据;基于属性特征数据,以增强孤立森林算法为基础构建并训练增强孤立森林模型;以训练好的增强孤立森林模型为基础,计算电力营销营业数据的异常评分;基于电力营销营业数据的异常评分,自适应判别异常群体,得到自适应异常结果;根据输出的自适应异常结果,将其与电力营销营业数据相结合,输出最终的异常判别结果。
-
公开(公告)号:CN117131449A
公开(公告)日:2023-11-28
申请号:CN202311087471.6
申请日:2023-08-28
Applicant: 烟台海颐软件股份有限公司
IPC: G06F18/2433 , G06F18/2415 , G06F18/23213 , G06F18/214 , G06F18/15 , G06N3/0895
Abstract: 本发明公开了一种面向数据治理的具有传播学习能力的异常识别方法及系统,该方法包括:配置文件加载,读取待检测数据,且区分为数值型字段和分类型字段;对待检测数据进行预处理,获取到采样区间和初始标签;根据采样区间进行数据采样,结合交互标记操作,训练字段级异常分类器与记录级异常分类器;利用训练好的字段级异常分类器和记录级异常分类器分别对待检测数据进行字段级异常识别和记录级异常识别,输出异常数据。本发明依据采样算法抽取有代表性的数据,通过系统中集成的用户交互模块对数据进行标注,通过标签传播扩展标签数量,大幅减少所需标签数据的数量,训练有监督的分类模型并结合主动学习提升混合数据异常识别的准确性。
-
-
-
-