一种基于深度学习的表格数据异常检测方法及系统

    公开(公告)号:CN117932517A

    公开(公告)日:2024-04-26

    申请号:CN202410118648.2

    申请日:2024-01-29

    Abstract: 本发明公开了一种基于深度学习的表格数据异常检测方法及系统,涉及数据检测领域。本发明包括以下步骤:获取待检测数据,并输入掩码生成器中,输出多个掩码矩阵;将每个掩码矩阵与原始数据执行元素乘积,生成多个掩码;将多个掩码输入重构网络,将掩码输入映射到潜在空间的特征表示,并将特征从潜在空间重新映射到原始空间,进而输出与输入相匹配的重构数据;分别计算掩码与重构数据的重构误差,使用平均重构误差作为异常分数,将异常分数高于正常样本的待检测数据判为异常数据。本发明具备较强的泛化能力,能够成功扩展至其他形式的大数据异常检测任务。

    一种基于记忆网络的半监督异常检测方法和装置

    公开(公告)号:CN118152853A

    公开(公告)日:2024-06-07

    申请号:CN202410242238.9

    申请日:2024-03-04

    Abstract: 本发明提供了一种基于记忆网络的半监督异常检测方法和装置,包括:构建包括自编码器和记忆模块的掩码记忆网络MMNet;将检测数据输入自编码器进行编码,获得编码后检测数据的数据特征;基于所述数据特征,在所述记忆模块中的每个记忆项中进行寻址,获得所述数据特征对应的注意力权重;根据所述注意力权重对每个记忆项加权计算,获得注意力加权特征维度;将所述注意力加权特征维度输入所述掩码记忆网络MMNet的解码器,获得重构后的检测数据;通过基于软屏蔽策略的异常评分约束,计算所述检测数据的异常分数,根据所述异常分数,判别所述检测数据的异常。提高了异常数据的检测效率。

Patent Agency Ranking