-
公开(公告)号：CN108491302B
公开(公告)日：2020-07-31
申请号：CN201810144628.7
申请日：2018-02-12
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种构建spark集群节点状态检测模型的方法。该方法包括：根据spark集群中节点运行特征数据与节点状态的关联性，获得由多组分析数据构成的样本点数据集，其中，每组分析数据包括节点运行特征数据和相应的节点状态；基于所述样本点数据集，以所述节点运行特征数据作为输入训练分类模型，获得spark集群节点状态检测模型。利用本发明提供的建spark集群节点状态检测模型能够准确有效的预测由于性能异常导致处于异常状态的节点。
-
公开(公告)号：CN107590008B
公开(公告)日：2019-11-15
申请号：CN201710651527.4
申请日：2017-08-02
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种通过加权熵判断分布式集群可靠度的方法和系统，属于分布式集群可靠性领域，通过预先为不同严重性的日志事件分别进行赋权，然后利用滑动窗口统计该时段内集群各节点的不同类型系统日志数量，进而计算各节点的错误率，并根据该错误率计算集群的可靠性加权熵，最后根据波动大小判断集群稳定性。通过该方法量化了系统可靠性，不但可以通过简单部署就能对整个集群的可靠性进行量化判定，而且还可对集群的稳定程度进行实时监控，及时了解集群的环境变化，当集群的可靠性出现较大波动时可及时采取相应措施处理。
-
公开(公告)号：CN108491302A
公开(公告)日：2018-09-04
申请号：CN201810144628.7
申请日：2018-02-12
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种构建spark集群节点状态检测模型的方法。该方法包括：根据spark集群中节点运行特征数据与节点状态的关联性，获得由多组分析数据构成的样本点数据集，其中，每组分析数据包括节点运行特征数据和相应的节点状态；基于所述样本点数据集，以所述节点运行特征数据作为输入训练分类模型，获得spark集群节点状态检测模型。利用本发明提供的建spark集群节点状态检测模型能够准确有效的预测由于性能异常导致处于异常状态的节点。
-
公开(公告)号：CN108427720A
公开(公告)日：2018-08-21
申请号：CN201810127088.1
申请日：2018-02-08
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供从系统日志中提取特征向量的方法，构建系统日志分类模型的方法以及系统日志分类方法。提取特征向量的方法包括：对每个类别，计算该类别关键字与系统日志的语义相似度，选取一些相似度作为系统日志在该类别下的特征向量；组合系统日志在所有类别下的特征向量以得到该系统日志的特征向量。构建模型的方法利用上述方法来提取训练数据集的特征向量，并将其作为卷积神经网络的输入以训练模型。系统日志分类方法利用上述方法来提取系统日志的特征向量，并通过模型得到分类结果。本发明可以实现高准确率和高时效的系统日志分类。
-
公开(公告)号：CN107590008A
公开(公告)日：2018-01-16
申请号：CN201710651527.4
申请日：2017-08-02
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种通过加权熵判断分布式集群可靠度的方法和系统，属于分布式集群可靠性领域，通过预先为不同严重性的日志事件分别进行赋权，然后利用滑动窗口统计该时段内集群各节点的不同类型系统日志数量，进而计算各节点的错误率，并根据该错误率计算集群的可靠性加权熵，最后根据波动大小判断集群稳定性。通过该方法量化了系统可靠性，不但可以通过简单部署就能对整个集群的可靠性进行量化判定，而且还可对集群的稳定程度进行实时监控，及时了解集群的环境变化，当集群的可靠性出现较大波动时可及时采取相应措施处理。
-
Patent Agency Ranking
公开(公告)号：CN104077266B
公开(公告)日：2017-07-07
申请号：CN201310101210.5
申请日：2013-03-27
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
IPC: G06F15/177
CPC classification number: G06F9/5016
Abstract: 本发明实施例提供一种多内核操作系统实现方法和实现装置及系统，其中，该方法包括：为多内核操作系统的各内核的基础功能模块分配内存；为从所述各内核中选取的第一内核中支持第一应用程序的特性功能模块分配内存；将所述为所述第一内核中支持第一应用程序的特性功能模块分配的内存释放。本发明实施例提供的多内核操作系统实现方法和实现装置及系统，实现了基于应用程序的特性，按需为内核的相应功能分配内存，从而提高了多内核操作系统的系统管理效率和资源使用效率。
-
公开(公告)号：CN104346380A
公开(公告)日：2015-02-11
申请号：CN201310330196.6
申请日：2013-07-31
Applicant: 华为技术有限公司 , 中国科学院计算技术研究所
CPC classification number: G06F17/30958
Abstract: 基于MapReduce模型的数据排序方法和系统，其中排序方法包括步骤：在MAP阶段每个MAP模块在对数据分块中的元素排序过程中，每确定一个元素的排序结果后，即将该元素加入先入先出数据结构中；在Reduce阶段Reduce模块获取所有先入先出数据结构中的当前元素；获取当前全局极值元素；将当前全局极值元素作为排序结果输出；将输出的当前全局极值元素从所述Reduce阶段元素集中移除，并更新Reduce阶段元素集。通过本申请，不必要等待MAP阶段的排序过程完成，即可在Reduce阶段根据先入先出缓存队列中的当前元素中选取极值元素，并流式的输出排序结果，所以可以提前输出排序结果，以减少用户的等待时间。
-
公开(公告)号：CN101888309B
公开(公告)日：2012-07-04
申请号：CN201010221973.X
申请日：2010-06-30
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种在线日志分析方法，包括：从机群系统的各个节点上在线获取日志文件；根据日志文件定义事件序列与事件关联规则，然后统计一元事件序列，找出频繁的一元事件序列集合，得到二元频繁事件序列候选集C(2)；统计C(2)中候选二元频繁事件序列的支持度计数和后验度计数，计算置信度和后验度；生成二元频繁事件序列集合F(2)和二元规则集合R(2)；重复这一过程直到得到F(k)和R(k)，对F(k)中的k元频繁事件序列进行连接操作，产生F(k+1)元频繁事件序列集合；对在F(k+1)中且不在R(k+1)的元素的属性值进行近似计算，直到产生所有的频繁事件序列；由频繁事件序列找到事件关联规则；根据事件关联规则在线预测日志中的事件。
-
公开(公告)号：CN101968747A
公开(公告)日：2011-02-09
申请号：CN201010286186.3
申请日：2010-09-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及一种机群应用管理系统，该系统包括执行引擎模块和数据库模块，数据库模块用于实时地存储各应用的处理结果，并建立监控表，所述监控表中记录多个应用的所有关联应用的处理结果的改变信息；执行引擎模块用于执行机群系统中的各个应用，并将各应用的处理结果实时地写入数据库模块，还用于按照所设定的周期定期读取数据库模块中的所述监控表，每次读取所述监控表后根据所读取的多个应用的处理结果的改变信息，分别判断各应用的触发条件是否已满足，并在触发条件满足时触发相应的应用。本发明还提供了相应的机群应用管理方法。本发明能够减少数据库访问连接数，降低开销；能够处理应用间各种复杂逻辑关系；更加便于管理和操作。
-
公开(公告)号：CN101888309A
公开(公告)日：2010-11-17
申请号：CN201010221973.X
申请日：2010-06-30
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种在线日志分析方法，包括：从机群系统的各个节点上在线获取日志文件；根据日志文件定义事件序列与事件关联规则，然后统计一元事件序列，找出频繁的一元事件序列集合，得到二元频繁事件序列候选集C(2)；统计C(2)中候选二元频繁事件序列的支持度计数和后验度计数，计算置信度和后验度；生成二元频繁事件序列集合F(2)和二元规则集合R(2)；重复这一过程直到得到F(k)和R(k)，对F(k)中的k元频繁事件序列进行连接操作，产生F(k+1)元频繁事件序列集合；对在F(k+1)中且不在R(k+1)的元素的属性值进行近似计算，直到产生所有的频繁事件序列；由频繁事件序列找到事件关联规则；根据事件关联规则在线预测日志中的事件。
-
-
-
-
-
-
-
-
-
Search Results
92
records
(took 0.113 seconds)
