一种基于日志语义挖掘的系统故障诊断方法及装置

    公开(公告)号:CN110288004B

    公开(公告)日:2021-04-20

    申请号:CN201910463679.0

    申请日:2019-05-30

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于日志语义挖掘的系统故障诊断方法及装置。首先,基于神经网络语言模型对输入日志进行训练得到日志事件的语义特征向量。然后,使用改进的K均值聚类算法对日志事件的语义特征向量进行聚类,并使用一种对聚类后的日志向量对应的日志事件进行过滤的方法。最后,应用过滤方法并提取过滤后的日志数据簇中具有代表性的日志事件形成特征日志序列进行检查。本发明的方法可以进行基于日志的系统故障诊断时有效的挖掘日志的相关信息,不仅能够提高故障识别和诊断的效率,还可以提高诊断的有效性,并且降低系统总体成本。

    一种基于日志语义挖掘的系统故障诊断方法及装置

    公开(公告)号:CN110288004A

    公开(公告)日:2019-09-27

    申请号:CN201910463679.0

    申请日:2019-05-30

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于日志语义挖掘的系统故障诊断方法及装置。首先,基于神经网络语言模型对输入日志进行训练得到日志事件的语义特征向量。然后,使用改进的K均值聚类算法对日志事件的语义特征向量进行聚类,并使用一种对聚类后的日志向量对应的日志事件进行过滤的方法。最后,应用过滤方法并提取过滤后的日志数据簇中具有代表性的日志事件形成特征日志序列进行检查。本发明的方法可以进行基于日志的系统故障诊断时有效的挖掘日志的相关信息,不仅能够提高故障识别和诊断的效率,还可以提高诊断的有效性,并且降低系统总体成本。

    一种基于高斯混合隐马尔可夫模型的系统故障预测方法

    公开(公告)号:CN113342597B

    公开(公告)日:2022-04-29

    申请号:CN202110597641.X

    申请日:2021-05-31

    Applicant: 武汉大学

    Inventor: 应时 田园 王冰明

    Abstract: 本发明公开了一种基于高斯混合隐马尔可夫模型的系统故障预测方法,该方法包括以下步骤:预处理原始日志文件,并进行标记;提取日志文件特征,构造特征向量;用滑动窗口为每种待预测故障构造对应的数据集;为每种待预测的故障分别训练高斯混合隐马尔可夫故障预测模型;通过训练好的高斯混合隐马尔可夫模型预测预测实时日志是否会发生故障以及会发生的故障类型。通过本发明的技术方案,解决了原始日志文件的交错问题和冗余问题,使得提取的特征更少而精;采用高斯混合隐马尔可夫模型对系统发生故障前的系统状态和日志进行建模,从而快速精准地预测系统故障,提高了系统的可用性。

    一种基于变分自动编码器的分布式系统异常检测方法

    公开(公告)号:CN113157520B

    公开(公告)日:2022-04-15

    申请号:CN202110300576.X

    申请日:2021-03-22

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于变分自动编码器的分布式系统异常检测方法。本发明首先通过日志解析和特征提取,获得日志文件中的正常日志执行顺序矩阵和正常日志执行数量矩阵。然后,将正常日志执行顺序矩阵和正常日志执行数量矩阵通过线性归一化法和VAE的训练,获取正常日志执行顺序区间集合和正常日志执行次数区间集合。最后,使用正常日志执行顺序区间集合和正常日志执行次数区间集合对待检测的日志文件进行异常检测。本发明在两个具有不同类型系统的大型数据集HDFS和OpenStack上执行实验,验证方法的可行性和普适性,实验结果表明此方法可用于日志异常检测,并且在不同类型的数据集上能提升异常检测准确率和效率。

    一种基于高斯混合隐马尔可夫模型的系统故障预测方法

    公开(公告)号:CN113342597A

    公开(公告)日:2021-09-03

    申请号:CN202110597641.X

    申请日:2021-05-31

    Applicant: 武汉大学

    Inventor: 应时 田园 王冰明

    Abstract: 本发明公开了一种基于高斯混合隐马尔可夫模型的系统故障预测方法,该方法包括以下步骤:预处理原始日志文件,并进行标记;提取日志文件特征,构造特征向量;用滑动窗口为每种待预测故障构造对应的数据集;为每种待预测的故障分别训练高斯混合隐马尔可夫故障预测模型;通过训练好的高斯混合隐马尔可夫模型预测预测实时日志是否会发生故障以及会发生的故障类型。通过本发明的技术方案,解决了原始日志文件的交错问题和冗余问题,使得提取的特征更少而精;采用高斯混合隐马尔可夫模型对系统发生故障前的系统状态和日志进行建模,从而快速精准地预测系统故障,提高了系统的可用性。

    一种基于N-gram与频繁模式挖掘的系统日志解析方法

    公开(公告)号:CN112882997B

    公开(公告)日:2022-06-07

    申请号:CN202110195563.0

    申请日:2021-02-19

    Applicant: 武汉大学

    Abstract: 本发明提出了一种基于N‑gram与频繁模式挖掘的系统日志解析方法。本发明将多行日志消息依次根据空格分解为单个的单词;计算任意两行日志消息之间的N‑gram距离;本发明通过算出N分别取值1,2,3时,任意两行日志消息之间的1‑gram距离、2‑gram距离和3‑gram距离,计算任意两行日志消息的相似匹配值,当匹配值高于设定阈值的日志消息归为一类;设置频繁模式挖掘算法的频繁单词项集的长度以及频繁模式挖掘算法的频繁单词项集的支持度;对每一类别中的所有日志消息使用频繁模式挖掘算法,挖掘出每一类中符合参数设定的候选频繁单词项集,并生成该类的日志模板。本发明在保证分类准确性的前提下,减少计算机处理的时间,节约了计算资源,提高了分类效率。

    一种基于变分自动编码器的分布式系统异常检测方法

    公开(公告)号:CN113157520A

    公开(公告)日:2021-07-23

    申请号:CN202110300576.X

    申请日:2021-03-22

    Applicant: 武汉大学

    Abstract: 本发明公开了一种基于变分自动编码器的分布式系统异常检测方法。本发明首先通过日志解析和特征提取,获得日志文件中的正常日志执行顺序矩阵和正常日志执行数量矩阵。然后,将正常日志执行顺序矩阵和正常日志执行数量矩阵通过线性归一化法和VAE的训练,获取正常日志执行顺序区间集合和正常日志执行次数区间集合。最后,使用正常日志执行顺序区间集合和正常日志执行次数区间集合对待检测的日志文件进行异常检测。本发明在两个具有不同类型系统的大型数据集HDFS和OpenStack上执行实验,验证方法的可行性和普适性,实验结果表明此方法可用于日志异常检测,并且在不同类型的数据集上能提升异常检测准确率和效率。

    一种基于N-gram与频繁模式挖掘的系统日志解析方法

    公开(公告)号:CN112882997A

    公开(公告)日:2021-06-01

    申请号:CN202110195563.0

    申请日:2021-02-19

    Applicant: 武汉大学

    Abstract: 本发明提出了一种基于N‑gram与频繁模式挖掘的系统日志解析方法。本发明将多行日志消息依次根据空格分解为单个的单词;计算任意两行日志消息之间的N‑gram距离;本发明通过算出N分别取值1,2,3时,任意两行日志消息之间的1‑gram距离、2‑gram距离和3‑gram距离,计算任意两行日志消息的相似匹配值,当匹配值高于设定阈值的日志消息归为一类;设置频繁模式挖掘算法的频繁单词项集的长度以及频繁模式挖掘算法的频繁单词项集的支持度;对每一类别中的所有日志消息使用频繁模式挖掘算法,挖掘出每一类中符合参数设定的候选频繁单词项集,并生成该类的日志模板。本发明在保证分类准确性的前提下,减少计算机处理的时间,节约了计算资源,提高了分类效率。

    一种基于循环神经网络的Web用户访问路径预测方法

    公开(公告)号:CN108399201B

    公开(公告)日:2020-05-12

    申请号:CN201810092336.3

    申请日:2018-01-30

    Applicant: 武汉大学

    Abstract: 本发明涉及一种基于循环神经网络的Web用户访问路径预测方法,本发明以用户的访问路径为研究目标,将循环神经网络引入到路径预测问题之中,研究和设计了进行路径预测的网络模型。在简单循环神经网络的基础上,增加了特征层,并在隐藏层采用长短期记忆(Long‑Short Term Memory,LSTM)单元。该方法能够有效的利用用户会话序列的上下文信息,学习和记忆用户的访问规律,并通过训练数据学习获得良好的模型参数,然后对用户下一步的访问路径进行预测。理论分析和实验结果表明,本发明的路径预测效率较高、预测结果较准确,适用于解决Web用户访问路径预测问题。

    一种基于系统日志聚类的多类型故障事件预测方法及装置

    公开(公告)号:CN109885456A

    公开(公告)日:2019-06-14

    申请号:CN201910127212.9

    申请日:2019-02-20

    Applicant: 武汉大学

    Abstract: 为了能够在故障预测时进一步提供故障的相关信息,本发明公开了一种基于系统日志聚类的多类型故障事件预测方法,基于日志消息分类和标注日志事件,以提供故障的相关信息,利用改进的层次聚类算法挖掘故障事件各自相关的频繁事件序列,基于频繁事件序列生成故障事件预测规则,并实现对规则的过滤,基于规则的匹配实现多类型故障事件的预测。本发明实现了不仅能够有效的进行故障事件预测,而且能够提供故障的相关信息的技术效果。

Patent Agency Ranking