一种基于数据增强的分布外异常样本检测方法

    公开(公告)号:CN113392890B

    公开(公告)日:2024-10-15

    申请号:CN202110635014.0

    申请日:2021-06-08

    Applicant: 南京大学

    Abstract: 本发明提出了一种基于数据增强的分布外异常样本检测方法。特征提取阶段,使用自动编码器算法的编码器部分,提取输入分布内样本的特征向量;数据增强和重建阶段,使用基于特征的数据增强方法对特征提取阶段提取到的特征进行变换,并使用自动编码器的解码器部分,从增强后的特征向量中生成数量充足且包含语义信息的辅助分布外异常样本数据集;样本标记阶段,将原始分类器对重建样本的预测准确度作为分布外异常样本的软标签值;分类器重训练阶段,联合包含硬标签监督信号的分布内训练数据集及包含软标签监督信号辅助分布外异常样本数据集,重新训练分类器;本发明改善了深度神经网络模型在预测分布外异常样本时的不确定性,提升了模型的安全性。

    一种基于噪声标签学习的众包获取标签数据清洗方法

    公开(公告)号:CN113361201A

    公开(公告)日:2021-09-07

    申请号:CN202110645466.7

    申请日:2021-06-10

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于噪声标签学习的众包获取标签数据清洗方法,在模型热启动阶段,使用带有噪声的标签数据初步训练深度模型;在噪声分离阶段,通过模型对训练数据进行预测,计算噪声标签与预测类别间的损失,采用高斯混合模型拟合损失的分布,得到各个数据在属于均值较小子分布的概率,依据该概率的大小将数据分为纯净数据和噪声数据两部分;在重新训练阶段,使用有更大概率为纯净数据的一部分重新训练模型;最后根据深度模型中数据损失的大小进行噪声清洗;本发明对众包获取的带噪声标签数据进行清洗,可大幅提高众包获取数据的质量;并且结合了深度学习模型的拟合能力,可以纠正特征与标签依赖关系复杂时的噪声标签。

    一种基于噪声标签学习的众包获取标签数据清洗方法

    公开(公告)号:CN113361201B

    公开(公告)日:2023-08-25

    申请号:CN202110645466.7

    申请日:2021-06-10

    Applicant: 南京大学

    Abstract: 本发明公开了一种基于噪声标签学习的众包获取标签数据清洗方法,在模型热启动阶段,使用带有噪声的标签数据初步训练深度模型;在噪声分离阶段,通过模型对训练数据进行预测,计算噪声标签与预测类别间的损失,采用高斯混合模型拟合损失的分布,得到各个数据在属于均值较小子分布的概率,依据该概率的大小将数据分为纯净数据和噪声数据两部分;在重新训练阶段,使用有更大概率为纯净数据的一部分重新训练模型;最后根据深度模型中数据损失的大小进行噪声清洗;本发明对众包获取的带噪声标签数据进行清洗,可大幅提高众包获取数据的质量;并且结合了深度学习模型的拟合能力,可以纠正特征与标签依赖关系复杂时的噪声标签。

    一种基于数据增强的分布外异常样本检测方法

    公开(公告)号:CN113392890A

    公开(公告)日:2021-09-14

    申请号:CN202110635014.0

    申请日:2021-06-08

    Applicant: 南京大学

    Abstract: 本发明提出了一种基于数据增强的分布外异常样本检测方法。特征提取阶段,使用自动编码器算法的编码器部分,提取输入分布内样本的特征向量;数据增强和重建阶段,使用基于特征的数据增强方法对特征提取阶段提取到的特征进行变换,并使用自动编码器的解码器部分,从增强后的特征向量中生成数量充足且包含语义信息的辅助分布外异常样本数据集;样本标记阶段,将原始分类器对重建样本的预测准确度作为分布外异常样本的软标签值;分类器重训练阶段,联合包含硬标签监督信号的分布内训练数据集及包含软标签监督信号辅助分布外异常样本数据集,重新训练分类器;本发明改善了深度神经网络模型在预测分布外异常样本时的不确定性,提升了模型的安全性。

Patent Agency Ranking