基于Raft协议的任务调度方法、系统、电子设备和介质

    公开(公告)号:CN116055563B

    公开(公告)日:2024-10-29

    申请号:CN202211467908.4

    申请日:2022-11-22

    Abstract: 本发明公开了一种基于Raft协议的任务调度方法、系统、电子设备和介质,所述方法包括如下步骤:所述调度服务根据Raft协议从多个节点中选举出leader节点,所述leader节点用于将任务分发给执行器,所述leader节点与数据库双主架构的其中一台服务器保持长连接;每个执行器通过调度服务获取leader节点的信息,并向leader节点发送该执行器的注册信息,所述leader节点根据注册信息在数据库中插入一条执行器信息,然后该执行器与follower节点保持心跳,所述follower节点根据心跳在数据库中更新该执行器对应的心跳时间;所述leader节点获取待执行任务,并根据数据库中的执行器信息将待执行任务分发给相应的执行器;所述执行器接收到待执行任务后,执行待执行任务并向leader节点发送任务接收响应。

    基于双向通信连接的数据更新方法、系统及装置

    公开(公告)号:CN114338773B

    公开(公告)日:2024-03-19

    申请号:CN202111675986.9

    申请日:2021-12-31

    Abstract: 本发明公开了一种基于双向通信连接的数据更新方法、系统及装置。其中,该方法包括:发送握手请求至服务端,其中,上述服务端用于响应上述握手请求,根据预设配置参数在上述服务端与客户端之间建立双向通信连接;在建立与上述服务端的上述双向通信连接后,监测来自上述服务端的推送数据;根据分析得到的上述推送数据的业务类型,更新上述客户端本地的交互动画界面。本发明解决了由于现有技术中通过客户端向服务器发送请求的方式进行数据更新,造成的更新效率低且界面响应迟滞的技术问题。

    一种流量入侵检测分析方法及系统

    公开(公告)号:CN115766116A

    公开(公告)日:2023-03-07

    申请号:CN202211340128.3

    申请日:2022-10-27

    Abstract: 本发明公开了一种流量入侵检测分析方法及系统,包括:使用流量监测器监测所有通过交换机的流量数据,并将所述流量数据推送到消息队列;消息队列监控插件读取所述消息队列中的流量数据;大数据分析服务启动加载对应的分析规则,对读取的流量数据进行对应的分指标规则的分析计算,基于分析计算的结果输出对应的告警信息;根据输出的告警信息进行对应的流量入侵的判断以及防御。本发明可在复杂场景模型下,实现复杂规则的流量入侵检测。

    文件传输方法、装置、电子设备及可读存储介质

    公开(公告)号:CN110493342B

    公开(公告)日:2021-05-14

    申请号:CN201910775315.6

    申请日:2019-08-21

    Abstract: 本申请实施例提供了一种文件传输方法、装置、电子设备及可读存储介质,所述方法应用于文件传输系统,所述文件传输系统包括发送端和接收端,所述方法包括:在所述发送端获取待传输文件,确定传输所述待传输文件所需的多个第一线程;所述发送端根据所述多个第一线程,将所述待传输文件分割成多个文件块;所述发送端将所述多个文件块异步传输至kafka中;所述接收端采用预置的线程池中的多个第二线程,异步读取对应的文件块;其中,所述多个第二线程与所述多个第一线程的数量相同;所述接收端根据读取的每个文件块中的文件位置指针,将所述每个文件块写入对应的文件位置,完成文件的传输;以提高文件传输的速度和稳定性。

    基于web前端实现拓扑图文件转为SVG文件的方法及装置

    公开(公告)号:CN112597101A

    公开(公告)日:2021-04-02

    申请号:CN202011277511.X

    申请日:2020-11-16

    Abstract: 本发明提供一种基于web前端实现拓扑图文件转为SVG文件的方法及装置,所述方法包括:将拓扑图文件传输给服务端,所述服务端通过机器学习算法读取并解析拓扑图中的元件信息、元件位置信息、连接线以及批注信息;服务端解析完成后,将所有数据封装成json数据格式;服务端将加密后的数据及版权信息传输给客户端;客户端采用javascript脚本解析所述加密后的数据中的元件信息、元件位置信息、连接线以及批注信息,并将解析出的内容在web前端通过SVG的API绘制图形并展示;用户通过客户端对展示的SVG图形进行操作。根据本发明的方案,实现了将上传的拓扑图文件转化为SVG文件,能够进行展示并操作。

    基于logstash的记录web服务管理员操作日志的方法及装置

    公开(公告)号:CN110881030A

    公开(公告)日:2020-03-13

    申请号:CN201911023505.9

    申请日:2019-10-25

    Abstract: 本发明提供一种基于logstash的记录web服务管理员操作日志的方法及装置,所述方法包括:使用Logstash监听某一web服务所在服务器的端口,获取http中的数据信息;将获取的所述数据信息通过Logstash的kafka output插件输出到kafka中;创建Kafka消费者对象,数据解析服务从所述Kafka消费者对象中消费存储于Kafka中的数据,并解析该数据,获得解析结果数据;将所述解析结果数据输出到kafka中;使用Logstash的kafka input插件获取kafka中的解析结果数据,封装web服务管理员操作信息,使用ES output插件将所述web服务管理员操作信息存储于ES服务中。根据本发明的方案,能够实现web服务管理员的访问日志与web服务之间的解耦,并且能够实时、快速的查询web服务管理员的操作信息。

    一种数据处理方法及装置

    公开(公告)号:CN108021688B

    公开(公告)日:2019-05-21

    申请号:CN201711349654.5

    申请日:2017-12-15

    Abstract: 本发明实施例提供了一种数据处理方法及装置。在本发明实施例中,在关系型数据库中可以存储数据,在ES中也可以存储数据,在关系型数据库中存储了海量的数据以及在ES中也存储了海量的数据的情况下,从关系型数据库中获取需要获取的数据所需耗费的时间往往远远大于从ES中获取需要获取的数据所需耗费的时间,因此,当获取到携带待获取数据的数据标识的第一数据获取请求之后,可以根据该数据标识判断待获取数据是否存储在ES中,如果待获取数据存储在ES中,则根据该数据标识从ES中获取待获取数据,无需从关系型数据库中获取待获取数据,从而可以减少获取待获取数据所需耗费的时间,以提高获取待获取数据的效率。

    由Redis和MySQL实现的消息处理方法和设备

    公开(公告)号:CN109445965A

    公开(公告)日:2019-03-08

    申请号:CN201811316816.X

    申请日:2018-11-07

    Abstract: 本发明提供了一种基于仅由Redis和MySQL这两种数据库实现的消息异步处理的方法和电子设备。所述方法包括:将所述产生的消息存储到Redis数据库的消息队列中;所述Redis数据库对所述消息队列进行预处理;所述应用系统从所述Redis数据库的消息队列中提消息;所述提取的消息保存到MySQL数据库中;所述应用系统调用消息处理接口处理消息;如果所述消息处理完成,则将MySQL中保存的所述提取的消息删除。本发明不仅可提供较高的消息响应速度,还具有较高的数据稳定性和安全性。

    一种用于顺序消费数据的方法及系统

    公开(公告)号:CN109002484A

    公开(公告)日:2018-12-14

    申请号:CN201810657964.1

    申请日:2018-06-25

    Abstract: 本发明公开了一种用于顺序消费数据的方法及系统,数据生产者客户端连接到数据处理系统,并向数据处理系统发送数据;数据处理系统生产者线程依据接收数据的主题以及当前数据处理系统的分区编号,将数据存储到数据库管理系统中;数据处理系统消费者线程依据当前消费者的ID,获取当前消费者ID对应的分区编号的偏移量;数据消费者线程根据所述分区编号的偏移量从数据处理系统的分区中获取数据,与数据库管理系统存储的数据进行匹配、整合;将匹配、整合完成的数据结果返回给相应的数据消费者客户端。通过本发明的技术方案,解决了Kafka同一个主题多分区的情况下,消费数据的无序问题。

Patent Agency Ranking