-
公开(公告)号:CN110532550A
公开(公告)日:2019-12-03
申请号:CN201910742035.5
申请日:2019-08-13
Applicant: 北京必示科技有限公司
Abstract: 本发明公开了一种基于日志词频树的智能系统日志解析处理方法,所述系统日志处理通过设备自动从系统日志中提取模板,所述提取模板是指系统日志消息中详细信息字段的子类型,所述系统日志消息中详细信息字段的子类型是频繁出现的单词的最长组合,所述提取模板等价于从系统日志消息中识别出频繁出现单词的最长组合,本发明科学合理,使用安全方便,将系统日志消息创建成日志词频树的形式,当有一种新的模板加入时,可以直接根据日志词频树的根节点和子节点对新的模板进行插入处理,避免了当新的模板插入时,需要重新处理和构建整个模板结合,减小了计算机资源的消耗,使得对于系统日志消息的处理更加的快速和准确。
-
公开(公告)号:CN114785666B
公开(公告)日:2022-10-04
申请号:CN202210709991.5
申请日:2022-06-22
Applicant: 北京必示科技有限公司
IPC: H04L41/0631 , H04L41/0677 , H04L41/069 , H04L41/16
Abstract: 本发明公开一种网络故障排查方法和系统,其中所述方法包括:设置网络故障排查触发规则;基于所述网络故障排查触发规则实时监测网络状态;一旦检测到网络故障事件,则进行上报网络状态参数;基于所述网络状态参数,获取网络故障排查的可疑路径信息;基于所述可疑路径信息,采用相应的异常检测算法进行网络状态异常检测分析;对异常检测分析结果进行根因定位。与现有技术相比,本发明通过对网络故障排查流程的模块化,将排查过程中涉及到的数据、流程进行定义与拆分,并通过各个模块的自动化实现方法,提升网络故障排查的整体效率。同时,模块化设计可以更好地适应不同的网络环境,具有较强的通用性。
-
公开(公告)号:CN113806495B
公开(公告)日:2022-08-02
申请号:CN202111212495.0
申请日:2021-10-19
Applicant: 北京必示科技有限公司
Abstract: 本发明提供了一种离群机器检测方法和装置。本发明的技术方案中包含了缺失检测、突变检测、时序相似性判断、分布相似性判断、特征相似性判断、形状相似性判断等检测模块和算法。每个检测模块都对大量的金融数据分析,做出了针对性的优化。同时还支持对不同指标自由调整模块参数、执行顺序及模块功能,可以有效的检测出缺失离群、水位线离群、周期性离群、波动离群、形状离群等离群场景。
-
公开(公告)号:CN113962273A
公开(公告)日:2022-01-21
申请号:CN202111102855.1
申请日:2021-09-22
Applicant: 北京必示科技有限公司
Abstract: 本发明提供一种基于多指标的时间序列异常检测方法、系统及存储介质,方法包括以下步骤:基于CMDB服务调用对照表,构建包括系统间调用关系和服务码间调用关系的全局异质拓扑图;构建基于多指标的时间序列异常检测模型,对全局异质拓扑图的调用边进行异常检测;基于调用边的异常检测结果,生成异质故障图。通过融合多指标的关联特征,相比于现有技术存在的仅针对单一指标进行异常检测的误报率高的技术问题,本发明有效提高了异质拓扑结构中调用边的指标异常检测的正确率。
-
公开(公告)号:CN113448808B
公开(公告)日:2021-11-12
申请号:CN202111000535.5
申请日:2021-08-30
Applicant: 北京必示科技有限公司
Abstract: 本发明提供一种批处理任务中单任务时间的预测方法、系统及存储介质,包括:获取所有跑批任务的历史数据;对所有跑批任务的历史数据进行聚类,并对聚类结果进行判定,实现跑批数据的指标类别的划分;获取单任务的历史数据,并对单任务的历史数据进行动态时间规整DTW检验,自动判断单任务是否存在特殊日;确定单任务的指标类别和特殊日;将获得的单任务的指标类别对应的数据,输入到一个训练网络模型中进行预测,最终获得批处理任务中单任务时间的预测值。本发明解决了无法实现批处理时间的整体动态监控、无法实现单任务时长过长或过短监控、人力及设备资源浪费严重的技术问题,对批处理单任务检测的针对性强、准确率高。
-
公开(公告)号:CN112862019A
公开(公告)日:2021-05-28
申请号:CN202110445385.2
申请日:2021-04-25
Applicant: 北京必示科技有限公司
Abstract: 本发明提供了一种动态筛选非周期性异常的方法,该方法包括:获取实时数据;将获取的实时数据输入常规异常判断模型进行异常判断,以获得异常点列表;根据所述异常点列表,基于异常判定动态基线以及系统异常概率阈值P,以获取各个异常点的异常概率值;根据所述各个异常点的异常概率值进行非典型周期性异常识别。本发明通过异常判定全局基线,生成每个点的异常分数,通过可调节的阈值P,最终得到每个点是否为非典型周期性的异常,并由此解决了在动态减小非周期性情况下的失效误报问题。
-
公开(公告)号:CN111309565A
公开(公告)日:2020-06-19
申请号:CN202010405424.1
申请日:2020-05-14
Applicant: 北京必示科技有限公司
Abstract: 本发明公开了一种告警处理方法、装置、电子设备以及计算机可读存储介质。上述方法包括:根据单位时间内接收到的告警数量和告警阈值,判断是否发生了告警风暴,其中所述告警阈值是自适应更新的;以及,若检测到产生了所述告警风暴,则提取告警风暴摘要。本发明首创性地将告警处理这一问题聚焦在告警风暴的检测和摘要提取上,旨在帮助工程师在实际运维场景中,更好的应对告警风暴,实现故障的快速发现和诊断。
-
公开(公告)号:CN115062144B
公开(公告)日:2025-01-21
申请号:CN202210578307.4
申请日:2022-05-26
Applicant: 北京必示科技有限公司
IPC: G06F16/35 , G06F16/18 , G06F16/903 , G06F18/2431 , G06F18/22 , G06F18/2433 , G06N3/0442 , G06N3/08 , G06N5/022 , G06N20/20
Abstract: 本发明公开一种基于知识库和集成学习的日志异常检测方法和系统,其中所述方法包括:获取日志;识别所述日志的类型;基于所述知识库,针对不同日志类型对所述日志进行不同预处理;若所述日志为第一类型日志,则采用预置模板和/或预置规则进行解析;若所述日志为第二类型日志,则基于集成学习进行处理;基于日志类型,对预处理后的日志匹配相应的日志异常检测模型;输出检测结果。本发明使得本发明聚焦于日志异常检测算法在实际生产环境中面临的一些显著挑战,提出基于知识库和集成学习的日志异常检测系统,确保了准确性与可解释性;同时,本发明针对每种日志异常类型,设计并实现合适的异常检测算法,在实际日志数据集中取得了不错的效果。
-
公开(公告)号:CN114721861B
公开(公告)日:2022-10-04
申请号:CN202210563123.0
申请日:2022-05-23
Applicant: 北京必示科技有限公司
IPC: G06F11/07
Abstract: 本发明公开一种基于日志差异化比对的故障定位方法和系统,其中所述方法包括:记录故障发生当前时间;以所述故障发生当前时间为基准,设定第一故障发生时间区间,以及与所述第一故障发生时间区间相关第一正常时间区间;分别获取所述第一故障发生时间区间的日志和所述第一正常时间区间日志;对所述第一故障发生时间区间的日志和所述第一正常时间区间日志分别进行结构化日志数据对比和非结构化日志数据对比;输出对比结果。本发明提供有触发式的日志异常检测算法,通过多维度的日志对比,自动准确地找出故障期间表现异常、和故障相关的日志,显著减少运维人员手工筛查海量日志的时间,快速地找到和故障相关的线索,提升故障诊断和根因定位效率。
-
公开(公告)号:CN113568991B
公开(公告)日:2022-02-08
申请号:CN202111102880.X
申请日:2021-09-22
Applicant: 北京必示科技有限公司
IPC: G06F16/28 , G06F16/2455 , G06F16/23 , G06Q10/06
Abstract: 本发明涉及一种基于动态风险的告警处理方法及系统,包括S1:输入告警信息;S2:基于历史故障蓝图对输入的告警信息进行判断,输出判断结果;S4:根据输入的告警信息匹配生成动态决策;S5:根据S2的判断结果及S4的动态决策,进行拓扑层合并;S6:根据动态决策和拓扑层的合并结果,对故障进行冗余合并,获得疑似故障;S7:输出疑似故障列表。本发明结合动态风险等级,对历史故障蓝图进行更新,然后基于历史故障蓝图对输入的告警信息进行判断,输出判断结果;同时结合动态决策确定是否进行告警的合并,由此实现了告警的动态处理,能够随时实现蓝图的更新,提高告警判断的准确性。
-
-
-
-
-
-
-
-
-