数据快照方法、装置、设备及存储介质

    公开(公告)号:CN114077518B

    公开(公告)日:2024-10-01

    申请号:CN202010850323.5

    申请日:2020-08-21

    发明人: 王安全 黄议兴

    摘要: 本申请公开了一种数据快照方法、装置、设备及存储介质,该方法包括:Canal组件将从数据库中读取的日志文件发送至分布式发布订阅消息系统kafka;kafka对所述日志文件写入对应的消息分区,生成订阅消息并发送至快照组件;当达到快照触发条件时,所述快照组件基于所述订阅消息对所述日志文件进行快照处理得到数据快照。该方案中快照组件能够直接基于kafka发送的订阅消息进行快照处理,使得生成数据快照的过程中不影响业务的正常进行,并且具备强大的容灾性,能够通过快照组件进行快照处理时的备份数据快速恢复得到任意时间点的数据切面数据。

    一种基于事件链路多维可视化的日志分析系统及其方法

    公开(公告)号:CN118708560A

    公开(公告)日:2024-09-27

    申请号:CN202410818528.3

    申请日:2024-06-24

    IPC分类号: G06F16/18 G06F16/16

    摘要: 本发明公开一种基于事件链路多维可视化的日志分析系统,包括:日志预处理模块,用于解析日志文件并提取关键信息;事件建模与链路构建模块,用于定义事件模型并构建事件链路图;多维可视化渲染模块,用于将事件以多维方式进行可视化展示;交互设计模块,提供交互元素,允许用户深入探索和分析日志数据;数据导出与分享模块,允许导出和分享可视化结果。本发明旨在解决传统日志分析方法存在的效率低下、信息遗漏等问题,该系统通过结合多维可视化和具有信息关联的事件链路分析,能够自动提取日志文件中的关键信息,并通过直观、全面的可视化界面展示这些信息,更高效地处理和分析日志数据,提升工作效率和决策准确性。

    一种使用纠删码的日志复制解耦共识方法及存储介质

    公开(公告)号:CN118689884A

    公开(公告)日:2024-09-24

    申请号:CN202410704840.X

    申请日:2024-06-03

    摘要: 本发明提供了一种使用纠删码的日志复制解耦共识方法及存储介质,该日志复制解耦共识方法包括:第一步骤:客户端将请求发送给集群;第二步骤:集群在收到客户端的请求之后开始处理客户端的请求;第三步骤:集群在完成日志的提交之后,向客户端回复,表示客户端的请求已经完成。本发明的有益效果是:1.本发明的日志复制解耦共识方法能够有效降低领导者节点的负载,解决了由于领导者性能瓶颈所导致的系统性能问题;2.本发明的日志复制解耦共识方法能够处理物联网场景中存在大量的非事务性数据;3.本发明的日志复制解耦共识方法确保了即使在健康节点数量减少的情况下,仍能够有效地减少系统的网络和存储资源消耗。

    基于字节流的EVTX格式系统日志查询方法及系统

    公开(公告)号:CN118672989A

    公开(公告)日:2024-09-20

    申请号:CN202411140815.X

    申请日:2024-08-20

    IPC分类号: G06F16/18 G06F16/14

    摘要: 本申请公开了一种基于字节流的EVTX格式系统日志查询方法及系统,主要涉及日志查询技术领域,用以解决操作日志文件时,windows平台上调用微软提供的接口不支持额外文件及跨linux平台,另外,使用第三方工具操作日志文件需要在第三方工具的基础上进行二次开发,过程较为繁琐的问题。包括:基于数据来源确定打开的文件地址或磁盘设备地址;获取解析数据对应的平台类型,注册系统类型对应的运行时库;打开解析数据,顺序读取解析数据对应的字节流,确定存在evtx文件的标识头的字节流匹配成功,调用evtx文件存储格式解析程序,从匹配成功的字节流中解析获得若干日志文件;通过回调函数,将若干日志文件返回用户端。

    审计日志管理方法、装置、设备及存储介质

    公开(公告)号:CN118672986A

    公开(公告)日:2024-09-20

    申请号:CN202410693058.2

    申请日:2024-05-30

    发明人: 许江永

    摘要: 本发明实施例提供了一种审计日志管理方法、装置、设备及存储介质,应用于分布式存储系统集群中的主管理节点,包括:根据客户端发送的审计日志指令确定审计日志功能是否开启;若是,则根据审计日志指令中的预先部署的场景确定接入协议类型;基于接入协议类型调用预设动态库接口加载接入协议类型对应的场景模板文件;根据场景模板文件收集分布式存储系统集群各个从管理节点对应的日志信息,并将日志信息记录于本地日志文件,将日志信息存储于预设数据库。本发明实施例中,通过一种分布式存储多场景日志管理方案,根据客户对审计日志的需求确定是否开启审计日志功能,根据部署的存储场景,以该场景管理相应的审计日志模板文件。

    程序异常分析方法、装置、电子设备及存储介质

    公开(公告)号:CN118672811A

    公开(公告)日:2024-09-20

    申请号:CN202310259125.5

    申请日:2023-03-16

    发明人: 林玉洲

    摘要: 本发明公开一种程序异常分析方法、装置、电子设备及存储介质。程序异常分析方法,包括:读取记录程序运行数据的日志文件并根据预设的异常判断规则判断程序是否发生异常,日志文件包括程序触发异常时上下文切换区域中所保存的多个函数的函数栈内容,每个函数栈内容包括对应函数的函数信息;获取程序触发异常时的日志文件,基于日志文件的文件结构对日志文件进行解析,获取每个函数栈内容的函数信息,并输出函数信息。本发明通过直接输出函数信息,用户无需再借助外部调试器定位异常日志文件,并且仅需分析异常日志的函数信息即可,简化异常日志文件获取步骤并进一步提供颗粒度更细的异常信息供用户分析,极大地提升了程序异常问题的分析效率。

    一种日志处理方法和电子设备

    公开(公告)号:CN117112520B

    公开(公告)日:2024-09-20

    申请号:CN202310419364.2

    申请日:2023-04-10

    发明人: 李鹏 王英明

    IPC分类号: G06F16/18 G06F9/445 G06F16/17

    摘要: 本申请提供了一种日志处理方法和电子设备。在该方法中,电子设备在关机之后,检测到开机操作之后,需要进入系统启动阶段,在系统启动完成之后,电子设备才可以正常开机。该系统启动阶段可以包括:EC程序启动阶段、BIOS启动阶段以及OS启动阶段。其中,电子设备可以在EC程序启动阶段生成EC日志。然后,在BIOS启动阶段生成BIOS日志。在OS启动之后,将生成的EC日志以及BIOS日志写入到目标存储器。实施本申请提供的技术方案,可以在BIOS运行过程中采集日志(BIOS日志)并且优化采集BIOS日志的过程。另外,还可以优化EC日志采集的过程。

    一种数据的标注方法及装置

    公开(公告)号:CN114546974B

    公开(公告)日:2024-09-20

    申请号:CN202011350467.0

    申请日:2020-11-26

    摘要: 本公开关于一种数据的标注方法及装置,能够根据媒体资源信息获取用户行为日志,提高了查询用户行为日志的速度,从而加快了标注数据的速度,提高标注数据的效率。具体方案包括:数据处理服务器确定第一媒体资源的投放时长,第一媒体资源与第一媒体资源信息相对应;在本地存储的媒体资源信息中,第一媒体资源信息中的投放时刻最早。并且,数据处理服务器在确定第一媒体资源的投放时长大于预设时长后,获取第一媒体资源信息以及第一媒体资源信息对应的第一用户行为日志,第一用户行为日志用于表征对第一媒体资源执行的操作。之后,数据处理服务器对第一媒体资源信息和第一用户行为日志执行标注操作,确定目标数据。