日志解析方法、系统、电子装置、计算机设备及存储介质

    公开(公告)号:CN113656246B

    公开(公告)日:2024-03-19

    申请号:CN202110932467.X

    申请日:2021-08-13

    Inventor: 李亮 范渊 刘博

    Abstract: 本申请涉及一种日志解析方法、系统、电子装置、计算机设备及存储介质,其中,该日志解析方法包括:获取待解析日志并分析所述待解析日志的日志级别;使用缓存表中与所述日志级别相对应的PEG算子,利用FST算法构建状态机;基于所述状态机,生成适配所述待解析日志的日志解析器;通过所述日志解析器将所述待解析日志解析成安全日志。通过保存至缓存表的各种PEG算子,通过FST算法快速组合生成日志解析器,降低日志解析器的设计难度,优化了算子性能,从而提高了日志解析器的性能,提高了日志解析的速度,扩展了日志解析的适配范围。

    一种日志处理方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN111158876B

    公开(公告)日:2023-06-06

    申请号:CN201911367896.6

    申请日:2019-12-26

    Inventor: 李亮 范渊 刘博

    Abstract: 本申请公开了一种日志处理方法,包括对获取的日志数据进行封装,获得Event事件;将所述Event事件发布到Disruptor队列中;当接收到日志处理请求时,确定所述日志处理请求指定的目标功能接口;通过所述目标功能接口从所述Disruptor队列中获取所述Event事件,并对所述Event事件进行处理;该日志处理方法可以在降低CPU损耗的同时,提高日志处理效率。本申请还公开了一种日志处理装置、设备及计算机可读存储介质,均具有上述有益效果。

    一种数据库日志统计方法、系统及相关装置

    公开(公告)号:CN111897867A

    公开(公告)日:2020-11-06

    申请号:CN202010826204.6

    申请日:2020-08-17

    Inventor: 李亮 范渊 刘博

    Abstract: 本申请提供一种数据库日志统计方法,包括:获取日志数据并存入循环缓冲区;在所述循环缓冲区中对所述日志数据进行解析,得到预设格式的日志数据,并存至目标数据库。本申请利用基于Disruptor并发框架结构的循环缓冲区进行数据库日志数据的获取、解析和存储,利用Disruptor高吞吐和低延迟的特点,实现了数据高效的传输,减少日志数据在其他中间存储环境的占用时间,使得数据可以快速在不同的数据源之前进行数据操作。本申请还提供一种数据库日志统计系统、计算机可读存储介质和电子设备,具有上述有益效果。

    一种用于lua程序接口的日志处理方法、装置及计算机设备

    公开(公告)号:CN116303317A

    公开(公告)日:2023-06-23

    申请号:CN202310154336.2

    申请日:2023-02-16

    Inventor: 李亮 施展

    Abstract: 本申请涉及一种用于lua程序接口的日志处理方法、装置及计算机设备。基于lua程序接口进行资源预配置操作,得到函数调用库;接收待解析的日志文件;从函数调用库中选取日志解析函数,调用日志解析函数对日志文件进行解析,得到日志解析结果。上述适用于lua程序接口的日志处理方法,通过基于lua程序接口在lua程序的函数调用库中选取日志解析函数对日志文件进行解析,得到解析结果,使得基于lua得到的解析结果可以方便C/C++等多种语言编写的应用主程序进行获取,实现将日志解析功能快速对接到外层的应用主程序的效果。

    日志解析方法、系统、电子装置、计算机设备及存储介质

    公开(公告)号:CN113656246A

    公开(公告)日:2021-11-16

    申请号:CN202110932467.X

    申请日:2021-08-13

    Inventor: 李亮 范渊 刘博

    Abstract: 本申请涉及一种日志解析方法、系统、电子装置、计算机设备及存储介质,其中,该日志解析方法包括:获取待解析日志并分析所述待解析日志的日志级别;使用缓存表中与所述日志级别相对应的PEG算子,利用FST算法构建状态机;基于所述状态机,生成适配所述待解析日志的日志解析器;通过所述日志解析器将所述待解析日志解析成安全日志。通过保存至缓存表的各种PEG算子,通过FST算法快速组合生成日志解析器,降低日志解析器的设计难度,优化了算子性能,从而提高了日志解析器的性能,提高了日志解析的速度,扩展了日志解析的适配范围。

    日志检索系统的构建方法、装置、计算机设备和介质

    公开(公告)号:CN113656350A

    公开(公告)日:2021-11-16

    申请号:CN202110919648.9

    申请日:2021-08-11

    Inventor: 李亮 范渊 刘博

    Abstract: 本申请涉及一种日志检索系统的构建方法、装置、计算机设备、以及计算机可读存储介质,根据待查询日志的数据量的大小,合理设计solr服务器和zookeeper服务器的个数,并将待查询日志分成多个组,配置多个core服务对待查询日志进行存储,可以有效提高处理日志的数据量的能力。对每个core服务的数据进行复制,得到若干数量的replica,并且合理设计core服务的角色对用户请求进行分工处理,从而提高日志检索系统的稳定性。此外配置nginx代理以轮询的方式将用户请求均衡地发送到solr集群的各个机器上,分散日志查询业务的读/写压力,进一步有效提高日志检索系统的稳定性。

    一种日志处理方法、装置、设备及计算机可读存储介质

    公开(公告)号:CN111158876A

    公开(公告)日:2020-05-15

    申请号:CN201911367896.6

    申请日:2019-12-26

    Inventor: 李亮 范渊 刘博

    Abstract: 本申请公开了一种日志处理方法,包括对获取的日志数据进行封装,获得Event事件;将所述Event事件发布到Disruptor队列中;当接收到日志处理请求时,确定所述日志处理请求指定的目标功能接口;通过所述目标功能接口从所述Disruptor队列中获取所述Event事件,并对所述Event事件进行处理;该日志处理方法可以在降低CPU损耗的同时,提高日志处理效率。本申请还公开了一种日志处理装置、设备及计算机可读存储介质,均具有上述有益效果。

Patent Agency Ranking