-
公开(公告)号:CN113240010B
公开(公告)日:2023-10-24
申请号:CN202110528743.6
申请日:2021-05-14
Applicant: 烟台海颐软件股份有限公司
IPC: G06F18/2433
Abstract: 本发明涉及结构化数据异常检测领域,具体涉及一种支持非独立分布混合数据的异常检测方法及系统。包括元数据管理模块,数据集成模块,数据管理模块,任务管理与调度模块,数据关联模块,特征变换模块,模型训练模块,异常评估模块,结果管理模块。基于本算法构建的系统可以适用于结构化混合数据、单纯的分类数据、单纯的数值型数据三种不同目的智能化异常检测,可以极大的提升异常检测的效率和普适性,尤其是在数据治理、工业异常检测应用中。
-
公开(公告)号:CN117743938B
公开(公告)日:2025-01-28
申请号:CN202311785567.X
申请日:2023-12-22
Applicant: 烟台海颐软件股份有限公司
IPC: G06F18/241 , G06F18/213 , G06F18/232 , G06N3/0455
Abstract: 本发明属于数据治理技术领域,具体涉及一种不均衡数据的异常识别与修复方法及系统。所述方法包括不均衡混合数据聚类分析、异常数据识别与特征定位、异常数据修复三部分内容,首先提出了基于代价优化的混合聚类算法,解决不均衡数据集下混合数据的有效聚类问题,实现同一聚类簇内数据具有高度相似性;其次提出一种基于孤立森林的异常特征定位算法,解决以往无监督异常检测算法仅能定位到异常记录而无法识别记录中具体异常特征的问题,实现问题数据的准确定位;最后提出基于异构变分自编码器的数据修复模型,实现对混合数据异常的可信修复,解决以往人工智能方法在数据修复过程中受数据分布和噪声数据干扰过大导致修复数据可信度不高的问题。
-
公开(公告)号:CN108595539B
公开(公告)日:2021-09-03
申请号:CN201810299875.4
申请日:2018-04-04
Applicant: 烟台海颐软件股份有限公司
IPC: G06F16/215 , G06F16/23 , G06F16/2458
Abstract: 本发明属于数据分析领域,涉及一种基于大数据的行迹相似对象识别方法与系统。本发明利用空间归一化模块、数据整理模块、空间点位序列生成模块、行为轨迹序列提取模块、行为矩阵生成模块、行为矩阵运算模块依次连接,对行迹位置原始数据构建行迹标识字典;依据行迹标识字典标准化传入数据;统合属于每个对象的行迹点位数据;构建每个对象在时间窗口内的行迹点位序列;对每个对象的行迹点位序列生成位移轨迹序列;构建行为计算矩阵来计算轨迹相似度;输出行为相似性符合条件的结果。本发明通过获取分析不同对象的空间位置移动信息并利用算法计算不同对象空间位置变化相互间的相似度,探究对象之间的相似性关系、识别及寻找行为相似的对象与群体。
-
公开(公告)号:CN111062620A
公开(公告)日:2020-04-24
申请号:CN201911315191.X
申请日:2019-12-19
Applicant: 烟台海颐软件股份有限公司
Abstract: 本发明公开了一种基于混合计费数据的电力计费公平性智能分析系统及方法,属于电力计费领域,该分析系统包括数据集成部分、数据处理部分、模型训练部分、公平性分析模块和输出模块;数据处理部分的输入端与数据集成部分的输出端进行连接,数据处理部分的输出端与模型训练部分的输入端进行连接,公平性分析模块的输入端与模型训练部分的输出端进行连接。本发明通过计算每条数据对整个数据集的加权总熵产生的信息增益,实现对档案异常水平的评估及档案数据异常的筛选;通过计算每个用户的实际用电特征向量与该用户每种档案特征的特征值所涉及的所有用户样本的平均用电特征向量偏离程度识别档案属性相同情况下该用户的用电行为数据是否异常。
-
公开(公告)号:CN108573039A
公开(公告)日:2018-09-25
申请号:CN201810302288.6
申请日:2018-04-04
Applicant: 烟台海颐软件股份有限公司
IPC: G06F17/30
Abstract: 本发明属于数据处理领域,具体涉及一种基于多源时空数据组配的目标辨识方法与系统。本发明包括空间归一化模块、时间归一化模块、用于对原始数据进行标准化处理的数据标准化模块,异源数据连接模块,组配初始化模块和分组结合计数及匹配结果判断模块,以及结果验证模块和历史数据连接及世代审验模块,利用以上模块将信源空间特征归一化,对不同信源的数据进行空间时间维度标准化,以某一选定数据源为驱动,设置其数据标识码为关键字,将与其在同时同地出现的来自其他数据源的数据标识码进行整合和计数。本发明采取先拆分计算再合并结果的方式分步计算,处理海量数据,对设备性能的适应性较高,计算灵活,实时性较高,结果准确。
-
公开(公告)号:CN113240011A
公开(公告)日:2021-08-10
申请号:CN202110528781.1
申请日:2021-05-14
Applicant: 烟台海颐软件股份有限公司
Abstract: 本发明涉及数据处理领域,具体涉及一种深度学习驱动的异常识别与修复方法及智能化系统。包括以下步骤:S1:数据结构识别,S2:数据特征变换,S3:训练异常检测和修复神经网络,S4:异常数据识别与异常修复,S5:数据特征还原。采用深度学习方法,对每个特征使用双分量混合模型,其中一个分量用于解释干净单元(即正常值),另一个分量用于解释异常单元(即异常值);通过降低异常单元的影响来模拟潜在的正常数据分布,为数据单元提供异常值分数和对单元修复的估计;将变分自编码器和生成对抗网络两个深度生成模型进行结合,有利于生成更好的修复结果;最终实现利用无监督学习方式对混合属性数据进行cell‑level(单元级别)的异常识别及修复。
-
公开(公告)号:CN113240010A
公开(公告)日:2021-08-10
申请号:CN202110528743.6
申请日:2021-05-14
Applicant: 烟台海颐软件股份有限公司
IPC: G06K9/62
Abstract: 本发明涉及结构化数据异常检测领域,具体涉及一种支持非独立分布混合数据的异常检测方法及系统。包括元数据管理模块,数据集成模块,数据管理模块,任务管理与调度模块,数据关联模块,特征变换模块,模型训练模块,异常评估模块,结果管理模块。基于本算法构建的系统可以适用于结构化混合数据、单纯的分类数据、单纯的数值型数据三种不同目的智能化异常检测,可以极大的提升异常检测的效率和普适性,尤其是在数据治理、工业异常检测应用中。
-
公开(公告)号:CN111275576A
公开(公告)日:2020-06-12
申请号:CN202010057653.9
申请日:2020-01-19
Applicant: 烟台海颐软件股份有限公司
Abstract: 本发明公开了一种电价执行异常用户的识别方法,S10、进行用户用电群体划分;S20、构建用电行为特征向量;S30、利用用电行为特征向量进行电价合规性分析;S40、筛选出电价执行异常的用户,输出结果。本发明可以从海量的城镇居民用户中,通过分析其用电行为,有效的识别用电行为明显异于普通城镇居民户、但却错误的执行了城镇居民生活用电电价的个体,大幅度的减少人工排查的工作量。基于上述方法,本发明还公开了一种电价执行异常的识别系统。
-
公开(公告)号:CN111241288A
公开(公告)日:2020-06-05
申请号:CN202010051316.9
申请日:2020-01-17
Applicant: 烟台海颐软件股份有限公司
IPC: G06F16/35 , G06F16/31 , G06F40/289 , G06F16/36 , G06F40/205 , G06Q30/00 , G06Q50/06
Abstract: 本发明公开了一种大集中电力客户服务中心的突发事件实时感知系统以及构建方法,包括数据采集模块,文本数据处理模块,特征向量构建模块,多文档主题分析模块,事件感知模块,以及结果推送模块。本发明基于海量的客户服务中心业务受理工作单数据,依托Apache Flink、LDA、TextRank等技术与算法,构建了突发事件实时感知方法,实现客户服务中心文本信息的自动处理和突发事件汇聚,实现突发事件的自动识别,填补本项业务需求空白。
-
公开(公告)号:CN117743938A
公开(公告)日:2024-03-22
申请号:CN202311785567.X
申请日:2023-12-22
Applicant: 烟台海颐软件股份有限公司
IPC: G06F18/241 , G06F18/213 , G06F18/232 , G06N3/0455
Abstract: 本发明属于数据治理技术领域,具体涉及一种不均衡数据的异常识别与修复方法及系统。所述方法包括不均衡混合数据聚类分析、异常数据识别与特征定位、异常数据修复三部分内容,首先提出了基于代价优化的混合聚类算法,解决不均衡数据集下混合数据的有效聚类问题,实现同一聚类簇内数据具有高度相似性;其次提出一种基于孤立森林的异常特征定位算法,解决以往无监督异常检测算法仅能定位到异常记录而无法识别记录中具体异常特征的问题,实现问题数据的准确定位;最后提出基于异构变分自编码器的数据修复模型,实现对混合数据异常的可信修复,解决以往人工智能方法在数据修复过程中受数据分布和噪声数据干扰过大导致修复数据可信度不高的问题。
-
-
-
-
-
-
-
-
-