基于日志树和解析树的日志事件提取方法及系统

    公开(公告)号:CN113626400A

    公开(公告)日:2021-11-09

    申请号:CN202110781337.0

    申请日:2021-07-11

    Inventor: 傅媛媛 徐建

    Abstract: 本发明公开了一种基于日志树和解析树的日志事件提取方法及系统,该方法分为预处理和日志内容解析两个步骤,具体包括:提出并维护一个由正则表达式和启发式规则组成的规则库,抽取小部分日志自动生成日志格式;基于日志格式在线识别日志为日志头部和日志内容;搜索解析树,采用最长公共子串和最长公共子向量分别计算日志树与事件树中静态字段与动态参数的相似度;采用聚类技术匹配日志树与事件树,提取事件与对应参数。本发明为了应对日志内容的复杂性,改进在线事件提取方法中的预处理与日志内容解析步骤。减少人工识别日志格式的工作量,改善已有方法难以识别包含不定数量参数事件的问题,更准确地提取日志事件。

    一种基于签名的日志事件提取方法

    公开(公告)号:CN106339293B

    公开(公告)日:2019-04-12

    申请号:CN201610696024.4

    申请日:2016-08-20

    Abstract: 本发明公开了一种基于签名的日志事件提取方法,由聚类过程、统计检验、迭代过程组成,聚类过程是根据匹配分数将一个数据集合划分为两个分组,并得到两个分组的签名;统计检验过程是根据聚类过程的分组结果以及Anderson‑Darling统计量检验划分是否满足正态分布,判断是否接受分组;迭代过程是对当前未经过聚类过程的分组重复聚类过程和统计检验过程,直至所有分组都不再变化,确定方法的结束条件。本发明针对日志文本的特点,基于签名的方式来对日志文本进行归类,实现日志事件的提取,具有日志事件提取准确率高的特点。

    一种基于双向选择的推荐框架

    公开(公告)号:CN105279180A

    公开(公告)日:2016-01-27

    申请号:CN201410317999.2

    申请日:2014-07-07

    Abstract: 本发明公开了一种基于双向选择的推荐框架。该框架由三部分组成,分别是:框架的建立及更新、二分图的分区和推荐推理。本发明提出了将用户的相关属性用一个二分图来表示,分为自身属性和全局属性。自身属性记录的是用户的共同爱好,而全局属性管理的是整个交互网络的质量。通过两个真实数据集(网上约会和在线招聘)的实证评价,很好的证明了与现有的算法相比,我们提出的框架的有效性。

    一种同构环境下计算节点异常检测方法

    公开(公告)号:CN104536996A

    公开(公告)日:2015-04-22

    申请号:CN201410769068.6

    申请日:2014-12-12

    CPC classification number: G06F11/0706

    Abstract: 本发明提供一种同构环境下计算节点异常检测方法,包括以下步骤:步骤1,将节点数据转换为标准形式;步骤2,提取特征数据;步骤3,采用cell-based算法自动检测异常点。本发明提供计算节点异常检测方法,能够采用无指导的学习方法自动获取动态变化的异常检测阈值,能更好地适应异常频繁改变的场景,能够迅速地处理和分析从大型系统中采集到的节点信息,从而可以迅速地检测到同构环境下异常的计算节点。

    基于语义和QoS约束的主体服务描述和匹配方法

    公开(公告)号:CN101674328A

    公开(公告)日:2010-03-17

    申请号:CN200910184026.5

    申请日:2009-11-18

    Abstract: 本发明公开了基于语义和QoS约束的主体服务描述和匹配方法,综合考虑语义和QoS属性,对主体服务进行描述和匹配。本发明由主体服务描述和主体服务匹配过程组成。其中,主体服务描述能对主体服务进行通用描述、功能描述和服务质量属性描述;主体服务匹配能根据主体服务请求者,在主体服务提供者集中寻找满足语义相似度阈值、且QoS最佳的一个或多个主体服务。本发明能对主体服务进行能力的全面描述,并能综合考虑语义和QoS对主体服务匹配的影响,根据主体服务请求,客观、公平地选择出满足语义条件、且QoS性能最佳的一个或多个主体服务,解决了现有方法中服务质量和语义没有较好结合、匹配效果不准确、匹配过程主观和不公平等问题。

    视频点播系统的分级存储管理方法

    公开(公告)号:CN101201801A

    公开(公告)日:2008-06-18

    申请号:CN200610098300.3

    申请日:2006-12-11

    Abstract: 本发明公开了一种视频点播系统的分级存储管理方法。其首先随机地将所有点播的视频数据中的20%存在一级高速磁盘阵列存储设备上;在另外的80%视频数据中,其30%的数据存储在二级的DVD光盘库上,其70%的数据存储在三级的磁带库中;在视频点播系统初始化时间段内,对视频数据进行数据迁移管理;系统初始化时间段后对视频数据进行最小加权周期频率数据迁移管理。本发明大大提高视频点播的节目在高速存储设备上点播命中率,可以提高系统提供服务的相应速度,在性能和硬件价格间作出最好的平衡。

    一种基于深度学习的加密恶意流量检测方法

    公开(公告)号:CN120017304A

    公开(公告)日:2025-05-16

    申请号:CN202411952188.X

    申请日:2024-12-27

    Abstract: 本发明公开了一种基于深度学习的加密恶意流量检测方法,利用LSTM模型提取网络流量数据的时序特征,通过BERT模型进一步提取流量数据的语义特征,最终形成综合特征表示;利用DBSCAN算法对综合特征表示进行聚类;根据定义的命名规则对每个簇中的样本标签进行优化,将具有相似攻击特征的流量类型归类为统一标签;构建图结构,将优化后的流量样本标签及其综合特征表示进行边连接,并依据余弦相似度在不同簇间建立边连接;构建GraphSAGE图神经网络模型,对图结构的节点及其邻居节点进行信息聚合得到每个节点的更新特征向量,利用更新后的节点特征进行分类处理,识别其是否为恶意加密流量。本发明提升了检测的精度和鲁棒性。

    基于日志树和解析树的日志事件提取方法及系统

    公开(公告)号:CN113626400B

    公开(公告)日:2024-11-29

    申请号:CN202110781337.0

    申请日:2021-07-11

    Inventor: 傅媛媛 徐建

    Abstract: 本发明公开了一种基于日志树和解析树的日志事件提取方法及系统,该方法分为预处理和日志内容解析两个步骤,具体包括:提出并维护一个由正则表达式和启发式规则组成的规则库,抽取小部分日志自动生成日志格式;基于日志格式在线识别日志为日志头部和日志内容;搜索解析树,采用最长公共子串和最长公共子向量分别计算日志树与事件树中静态字段与动态参数的相似度;采用聚类技术匹配日志树与事件树,提取事件与对应参数。本发明为了应对日志内容的复杂性,改进在线事件提取方法中的预处理与日志内容解析步骤。减少人工识别日志格式的工作量,改善已有方法难以识别包含不定数量参数事件的问题,更准确地提取日志事件。

    面向异构文本运维数据的事件提取方法

    公开(公告)号:CN110347827B

    公开(公告)日:2023-08-22

    申请号:CN201910561157.4

    申请日:2019-06-26

    Abstract: 本发明提供了一种面向异构文本运维数据的事件提取方法,包括以下步骤:步骤1,定义泛化类型正则表达式;步骤2,基于正则表达式的类型检测;步骤3,基于多维度相似性的文本运维数据聚类;步骤4,事件类型生成和文本运维数据类型标注。本发明所提供的事件提取方法的目的在于以复杂IT系统运行时产生的日志文件、工作票等文本类运维数据为研究对象,提供一种面向异构文本运维数据的事件提取方法,具备处理异构文本运维数据的适应性和较高的准确性。

    一种基于生成对抗网络的网络流量生成方法

    公开(公告)号:CN115983334A

    公开(公告)日:2023-04-18

    申请号:CN202211628717.1

    申请日:2022-12-18

    Abstract: 本发明公开了一种基于生成对抗网络的网络流量生成方法。该方法为:对数据集进行预处理,包括属性特征评估、文本转化为数值、缺失值处理、特征数据归一化;设计面向网络流量生成的生成对抗网络模型架构,包括生成器模块、鉴别器模块和网络奖励机制;接着训练网络模型,分为模型预训练和正式训练两个阶段;对生成的流量数据进行数据评估和筛选,包括质量评估、相似性评估和标记评估,筛选合格样本形成标记流量集。本发明使用WGAN‑GP来设计模型,并结合LSTM进一步学习网络流量序列的时间特性,使得生成的网络流量数据在分类标记、真实性以及成功率方面均得到提升,能够为基于机器学习的网络入侵检测模型训练提供大批量、高质量标记数据。

Patent Agency Ranking