网络分析数据的提取方法、装置、设备及存储介质

    公开(公告)号:CN117793222A

    公开(公告)日:2024-03-29

    申请号:CN202410018456.4

    申请日:2024-01-04

    Abstract: 本申请公开了一种网络分析数据的提取方法、装置、电子设备及计算机可读存储介质,包括:响应于通过客户端进行的登录操作,展示订阅界面;响应于对所述订阅界面中目标运行事件的选取,并对所述目标运行事件的目标属性配置项进行配置,获得所述目标属性配置项的属性配置信息;根据所述目标运行事件的目标属性配置项的属性配置信息,生成事件注册表;在所述工业设备运行的过程中,在所述工业设备产生的事件信息的属性信息,符合事件注册表的事件推送条件的情况下,将所述事件信息展示在所述客户端。解决了相关技术中,由于运行事件的类型和属性复杂,造成难以进行有效的筛选和分类,导致监控信息或监控设备过多,难以及时响应的问题。

    一种基于kafka的集群数据以及文件的同步方法及装置

    公开(公告)号:CN112202862B

    公开(公告)日:2023-12-05

    申请号:CN202011010531.0

    申请日:2020-09-23

    Abstract: 本发明提供一种基于kafka的集群数据以及文件的同步方法及装置,所述方法包括:集群中某个节点接收并解析请求,集群中每个节点对应一个消费组;判断解析结果,根据解析结果,将热点数据发送到Kafka的热点数据存储topic或采用RandomAccessFile读取对应路径的文件流信息,封装文件json信息,将封装后的文件json信息发送并保存到Kafka的文件数据存储topic;集群中其余节点利用对应的消费组分别从Kafka的热点数据存储topic、文件数据存储topic消费热点数据、文件数据。根据本发明的方案,只需要在集群项目中添加Kafka服务插件,减少项目的复杂度。实现将Kafka中的数据全部读取到集群的所有节点中,将热点数据刷新到服务内存中。实现集群服务器之间的热点数据共享以及文件的共享。

    一种提交并守护spark任务的方法及装置

    公开(公告)号:CN111158872B

    公开(公告)日:2023-06-16

    申请号:CN201911291724.5

    申请日:2019-12-16

    Abstract: 本发明提供一种提交并守护spark任务的方法及装置,方法包括:部署及装置Docker集群环境;基于Docker集群安装部署Spark集群,并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务;应用程序微服务部署服务器,为该服务器配置Spark监听微服务的访问地址;应用程序控制台配置需要提交的spark任务的参数信息,调用请求提交spark任务;所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务,传递参数信息给所述Spark监听微服务;所述Spark监听微服务调用SparkLauncher提交所述spark任务,并通过监听线程监听Spark节点心跳状态,保持对Spark节点的守护。根据本发明的方案,解决了当spark集群和提交spark任务的应用程序不在同一台机器上时提交spark任务困难的问题。

    一种数据处理方法及装置

    公开(公告)号:CN109241112B

    公开(公告)日:2020-11-17

    申请号:CN201810989080.6

    申请日:2018-08-28

    Abstract: 本发明提供了一种数据处理方法及装置。所述方法包括:采用计算引擎对目标数据进行一次处理,获取对应的第一处理结果;将所述第一处理结果保存至预置数据存储服务器中;应用服务器从所述预置数据存储服务器中获取所述第一处理结果;所述应用服务器按照预置规则对所述第一处理结果进行二次处理,以得到二次处理结果。本发明能够避免直接将第一处理结果保存出搜索服务中,从而能够对第一处理结果进行二次处理,并且,避免了大量数据写入ElasticSearch而影响Spark的计算效率的问题,提高了数据处理速度。

    一种流量入侵检测分析方法及系统

    公开(公告)号:CN115766116A

    公开(公告)日:2023-03-07

    申请号:CN202211340128.3

    申请日:2022-10-27

    Abstract: 本发明公开了一种流量入侵检测分析方法及系统,包括:使用流量监测器监测所有通过交换机的流量数据,并将所述流量数据推送到消息队列;消息队列监控插件读取所述消息队列中的流量数据;大数据分析服务启动加载对应的分析规则,对读取的流量数据进行对应的分指标规则的分析计算,基于分析计算的结果输出对应的告警信息;根据输出的告警信息进行对应的流量入侵的判断以及防御。本发明可在复杂场景模型下,实现复杂规则的流量入侵检测。

    由Redis和MySQL实现的消息处理方法和设备

    公开(公告)号:CN109445965A

    公开(公告)日:2019-03-08

    申请号:CN201811316816.X

    申请日:2018-11-07

    Abstract: 本发明提供了一种基于仅由Redis和MySQL这两种数据库实现的消息异步处理的方法和电子设备。所述方法包括:将所述产生的消息存储到Redis数据库的消息队列中;所述Redis数据库对所述消息队列进行预处理;所述应用系统从所述Redis数据库的消息队列中提消息;所述提取的消息保存到MySQL数据库中;所述应用系统调用消息处理接口处理消息;如果所述消息处理完成,则将MySQL中保存的所述提取的消息删除。本发明不仅可提供较高的消息响应速度,还具有较高的数据稳定性和安全性。

    数据聚类方法、装置、电子设备和计算机可读介质

    公开(公告)号:CN117708630A

    公开(公告)日:2024-03-15

    申请号:CN202311658344.7

    申请日:2023-12-05

    Abstract: 本申请实施例公开了数据聚类方法、装置、电子设备和计算机可读介质。该方法的实施例包括:获取待聚类数据集;从待聚类数据集中,选取目标数量的数据,作为聚类中心,每个聚类中心对应一个类簇;迭代执行如下聚类步骤,直至满足第一目标条件:基于有序加权平均聚合算子,确定待聚类数据集中的数据与各聚类中心的距离,有序加权平均聚合算子通过融合多种距离度量方式生成;将数据划分至距离最近的聚类中心对应的类簇,并更新各类簇的聚类中心;输出类簇划分结果。该实施方式提高了聚类结果的准确性。

    一种文件流转溯源的方法、装置、设备及存储介质

    公开(公告)号:CN117521037A

    公开(公告)日:2024-02-06

    申请号:CN202311296428.0

    申请日:2023-10-08

    Abstract: 本申请公开了一种文件流转溯源的方法、装置、设备及存储介质,应用于客户端,包括:获取外发文件产生的使用行为记录,与所述外发文件的唯一性标识信息之间的对应关系;获取泄露文件的唯一性标识信息;从所述对应关系中,确定与所述泄露文件的唯一性标识信息对应的目标使用行为记录;通过所述目标使用行为记录,确定所述泄露文件的泄露行为。基于本申请实施例的方法,在数据流转过程中,无需对数据进行标记,就能溯源文件泄露行为,同时文件流转溯源的准确性也得到了相应提高,解决了数据流转过程中,必须对数据进行标记才能溯源文件泄露行为的问题。

    由Redis和MySQL实现的消息处理方法和设备

    公开(公告)号:CN109445965B

    公开(公告)日:2021-06-22

    申请号:CN201811316816.X

    申请日:2018-11-07

    Abstract: 本发明提供了一种基于仅由Redis和MySQL这两种数据库实现的消息异步处理的方法和电子设备。所述方法包括:将所述产生的消息存储到Redis数据库的消息队列中;所述Redis数据库对所述消息队列进行预处理;所述应用系统从所述Redis数据库的消息队列中提消息;所述提取的消息保存到MySQL数据库中;所述应用系统调用消息处理接口处理消息;如果所述消息处理完成,则将MySQL中保存的所述提取的消息删除。本发明不仅可提供较高的消息响应速度,还具有较高的数据稳定性和安全性。

    一种提交并守护spark任务的方法及装置

    公开(公告)号:CN111158872A

    公开(公告)日:2020-05-15

    申请号:CN201911291724.5

    申请日:2019-12-16

    Abstract: 本发明提供一种提交交守护spark任务的方法及装置,方法包括:部署及装置Docker集群环境;基于Docker集群安装部署Spark集群,并在Spark集群中的Master节点所在的服务器上部署Spark监控与提交任务微服务;应用程序微服务部署服务器,为该服务器配置Spark监听微服务的访问地址;应用程序控制台配置需要提交的spark任务的参数信息,调用请求提交spark任务;所述应用程序微服务通过Spring Clound的Feign调用Spark监听微服务,传递参数信息给所述Spark监听微服务;所述Spark监听微服务调用SparkLauncher提交所述spark任务,并通过监听线程监听Spark节点心跳状态,保持对Spark节点的守护。根据本发明的方案,解决了当spark集群和提交spark任务的应用程序不在同一台机器上时提交spark任务困难的问题。

Patent Agency Ranking