-
公开(公告)号:CN108427720A
公开(公告)日:2018-08-21
申请号:CN201810127088.1
申请日:2018-02-08
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供从系统日志中提取特征向量的方法,构建系统日志分类模型的方法以及系统日志分类方法。提取特征向量的方法包括:对每个类别,计算该类别关键字与系统日志的语义相似度,选取一些相似度作为系统日志在该类别下的特征向量;组合系统日志在所有类别下的特征向量以得到该系统日志的特征向量。构建模型的方法利用上述方法来提取训练数据集的特征向量,并将其作为卷积神经网络的输入以训练模型。系统日志分类方法利用上述方法来提取系统日志的特征向量,并通过模型得到分类结果。本发明可以实现高准确率和高时效的系统日志分类。
-
公开(公告)号:CN107590008A
公开(公告)日:2018-01-16
申请号:CN201710651527.4
申请日:2017-08-02
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种通过加权熵判断分布式集群可靠度的方法和系统,属于分布式集群可靠性领域,通过预先为不同严重性的日志事件分别进行赋权,然后利用滑动窗口统计该时段内集群各节点的不同类型系统日志数量,进而计算各节点的错误率,并根据该错误率计算集群的可靠性加权熵,最后根据波动大小判断集群稳定性。通过该方法量化了系统可靠性,不但可以通过简单部署就能对整个集群的可靠性进行量化判定,而且还可对集群的稳定程度进行实时监控,及时了解集群的环境变化,当集群的可靠性出现较大波动时可及时采取相应措施处理。
-
公开(公告)号:CN101888309B
公开(公告)日:2012-07-04
申请号:CN201010221973.X
申请日:2010-06-30
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种在线日志分析方法,包括:从机群系统的各个节点上在线获取日志文件;根据日志文件定义事件序列与事件关联规则,然后统计一元事件序列,找出频繁的一元事件序列集合,得到二元频繁事件序列候选集C(2);统计C(2)中候选二元频繁事件序列的支持度计数和后验度计数,计算置信度和后验度;生成二元频繁事件序列集合F(2)和二元规则集合R(2);重复这一过程直到得到F(k)和R(k),对F(k)中的k元频繁事件序列进行连接操作,产生F(k+1)元频繁事件序列集合;对在F(k+1)中且不在R(k+1)的元素的属性值进行近似计算,直到产生所有的频繁事件序列;由频繁事件序列找到事件关联规则;根据事件关联规则在线预测日志中的事件。
-
公开(公告)号:CN101888309A
公开(公告)日:2010-11-17
申请号:CN201010221973.X
申请日:2010-06-30
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种在线日志分析方法,包括:从机群系统的各个节点上在线获取日志文件;根据日志文件定义事件序列与事件关联规则,然后统计一元事件序列,找出频繁的一元事件序列集合,得到二元频繁事件序列候选集C(2);统计C(2)中候选二元频繁事件序列的支持度计数和后验度计数,计算置信度和后验度;生成二元频繁事件序列集合F(2)和二元规则集合R(2);重复这一过程直到得到F(k)和R(k),对F(k)中的k元频繁事件序列进行连接操作,产生F(k+1)元频繁事件序列集合;对在F(k+1)中且不在R(k+1)的元素的属性值进行近似计算,直到产生所有的频繁事件序列;由频繁事件序列找到事件关联规则;根据事件关联规则在线预测日志中的事件。
-
公开(公告)号:CN107786368B
公开(公告)日:2021-09-07
申请号:CN201610799119.9
申请日:2016-08-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
Abstract: 本申请提供了一种异常节点检测方法,用于检测MapReduc集群中的异常节点。本申请提供的方法包括:异常节点检测装置接收各节点发送的性能消息,并使用ABOD算法对性能消息中携带的各节点的多个性能参数的数值进行分析,进而确定异常节点。通过这样的方法,使得异常检测装置能够定位异常节点,使得维护人员能够对异常节点进行及时修复。且由于各节点的性能参数的个数为多个,故异常检测装置能够基于各节点的多维数据进行ABOD分析,分析得到的异常节点具有较高的可信度。本申请还提供了相关的异常检测装置。
-
公开(公告)号:CN108228442B
公开(公告)日:2020-10-27
申请号:CN201611153279.2
申请日:2016-12-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F11/36
Abstract: 本发明的实施例提供一种异常节点的检测方法及装置,涉及通信技术领域,能够检测出分布迭代式数据处理程序中出现异常的具体环节。该方法包括:获取目标特征向量,该目标特征向量包括目标节点实际执行目标应用程序的目标子程序时产生的性能参数,该性能参数用于指示在执行该目标子程序的运行阶段内该目标节点的资源消耗;获取与目标子程序和目标节点对应的目标性能模型,该目标性能模型用于指示正常执行该目标子程序时产生的性能参数区间;若该目标特征向量位于该性能参数区间之外,则确定该目标节点在执行该目标应用程序的目标子程序时出现异常。
-
公开(公告)号:CN108228442A
公开(公告)日:2018-06-29
申请号:CN201611153279.2
申请日:2016-12-14
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F11/36
Abstract: 本发明的实施例提供一种异常节点的检测方法及装置,涉及通信技术领域,能够检测出分布迭代式数据处理程序中出现异常的具体环节。该方法包括:获取目标特征向量,该目标特征向量包括目标节点实际执行目标应用程序的目标子程序时产生的性能参数,该性能参数用于指示在执行该目标子程序的运行阶段内该目标节点的资源消耗;获取与目标子程序和目标节点对应的目标性能模型,该目标性能模型用于指示正常执行该目标子程序时产生的性能参数区间;若该目标特征向量位于该性能参数区间之外,则确定该目标节点在执行该目标应用程序的目标子程序时出现异常。
-
公开(公告)号:CN103812719B
公开(公告)日:2018-05-18
申请号:CN201210450162.6
申请日:2012-11-12
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: H04L12/26
Abstract: 本发明实施例提供一种集群系统的失效预测方法及装置。方法包括:根据集群系统的失效事件集合对事件序列模式集合进行聚类分析,获得事件序列簇;对事件序列簇进行因果关联分析,获取因果关联路径簇;对因果关联路径簇进行失效分析,获取集群系统的失效模式;根据失效模式,对集群系统进行失效预测。本发明实施例提供的集群系统的失效预测方法及装置对事件序列模式集合进行聚类获得因果关联路径簇,从而获得集群系统的失效模式,根据获取的失效模式对集群系统进行失效预测。可以通过对集群系统日志进行深度的分析和挖掘,获得用于失效预测的可靠的失效规则,进而提高失效预测的召回率。
-
公开(公告)号:CN107786368A
公开(公告)日:2018-03-09
申请号:CN201610799119.9
申请日:2016-08-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
CPC classification number: H04L67/10 , H04L41/0677 , H04L43/08
Abstract: 本申请提供了一种异常节点检测方法,用于检测MapReduc集群中的异常节点。本申请提供的方法包括:异常节点检测装置接收各节点发送的性能消息,并使用ABOD算法对性能消息中携带的各节点的多个性能参数的数值进行分析,进而确定异常节点。通过这样的方法,使得异常检测装置能够定位异常节点,使得维护人员能够对异常节点进行及时修复。且由于各节点的性能参数的个数为多个,故异常检测装置能够基于各节点的多维数据进行ABOD分析,分析得到的异常节点具有较高的可信度。本申请还提供了相关的异常检测装置。
-
公开(公告)号:CN105095126B
公开(公告)日:2018-02-13
申请号:CN201410181775.3
申请日:2014-04-30
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F13/20
CPC classification number: G06F9/4411 , G06F9/4406 , G06F13/4022 , G06F13/4282
Abstract: 本发明实施例提供一种控制方法和控制设备,通过路由器接收第一设备发送的数据,上述数据中携带I/O设备的标识,根据I/O设备与控制器的对应关系和I/O设备的标识,确定I/O设备的标识对应的控制器,将数据发送到I/O设备的标识对应的控制器,以使控制器根据该控制器中存储的固件代码对数据进行处理,接收控制器发送的处理后的数据,将处理后的数据发送给第二设备,第二设备或者第一设备为I/O设备,由于本发明实施例中通常固件代码是可以编程的,因此,具有应用上述控制方法的控制设备实现比较灵活。
-
-
-
-
-
-
-
-
-