一种数据获取方法和装置

    公开(公告)号:CN110647542B

    公开(公告)日:2022-07-19

    申请号:CN201810597186.1

    申请日:2018-06-11

    Inventor: 李伟

    Abstract: 本发明公开了一种数据获取方法和装置,包括:接收包含关键词的性能数据查询请求,根据性能数据查询请求判断内存的数据缓存区中是否存在与关键词对应的目标性能数据;如果存在,直接从数据缓存区中获取目标性能数据后返回;如不存在,根据关键词从数据库中批量读取多条性能数据并存储到数据缓存区中,从数据缓存区中获取目标性能数据后返回,数据库中按性能数据的业务类型分类存储且性能数据创建有日期索引。本发明实施例通过一次批量查询数据库后进行缓存,效率比每次单一直接查询数据库效率大大提高了几十倍。并且,减少了性能数据查询时内存和磁盘的读取交换次数,降低了系统高负荷运行的持续时间。

    一种性能指标数据采集方法和装置

    公开(公告)号:CN112152824A

    公开(公告)日:2020-12-29

    申请号:CN201910561066.0

    申请日:2019-06-26

    Inventor: 李伟

    Abstract: 本申请公开了一种性能指标数据采集方法和装置。方法包括:获取网络设备的待采集性能指标的信息,依据历史采集记录或性能指标与对象标识的对应关系,确定出所述待采集性能指标对应的第一采集表;所述第一采集表中包括所述待采集性能指标的对象标识;基于所述待采集性能指标的对象标识,调用简单网络管理协议SNMP采集接口,得到所述待采集性能指标的指标数据。本申请实施例的性能指标数据采集过程不需要人工参与,节省了运维的人工成本,减小了出错的几率。

    数据采集方法、装置、电子设备和存储介质

    公开(公告)号:CN112732428A

    公开(公告)日:2021-04-30

    申请号:CN202110051193.3

    申请日:2021-01-14

    Inventor: 李伟

    Abstract: 本申请实施例提供一种数据采集方法、装置、电子设备和存储介质,所述数据采集方法包括:获取当前采集域中的采集节点的个数;基于所述采集节点的个数,为所述采集域中的每个所述采集节点分配预设分片序号;基于所述预设分片序号,加载所述采集节点对应的采集任务;根据所述采集任务的采集方式,调用对应的采集管理器进行数据采集。本申请实现了提高数据采集的完整性。

    一种Netflow流量数据的采集方法和设备

    公开(公告)号:CN106899443B

    公开(公告)日:2020-06-26

    申请号:CN201510959078.0

    申请日:2015-12-18

    Inventor: 李伟 王庆磊

    Abstract: 本发明公开了一种Netflow流量数据的采集方法和设备。所述方法包括:设定接收外部网络设备发送的Netflow流量数据包的端口,并实时监听该端口;在监听到Netflow流量数据包时,按照Netflow协议将接收到的Netflow流量数据包解析为键值对结构,并将所述键值对结构与配置文件中配置的属性字段匹配,将匹配出的键值对数据封装为消息事件数据发送给传输通道进行缓存;从传输通道中获取所述消息事件数据,并将获取到的消息事件数据写入到配置文件指定目录下的文件中;将写有消息事件数据的文件下载导入到数据库中作为流量原始数据。本发明的技术方案采用流式处理实现Netflow流量数据的接收、分析、传送和存储,相比于单一处理方式具有更高的效率。

    一种数据获取方法和装置

    公开(公告)号:CN110647542A

    公开(公告)日:2020-01-03

    申请号:CN201810597186.1

    申请日:2018-06-11

    Inventor: 李伟

    Abstract: 本发明公开了一种数据获取方法和装置,包括:接收包含关键词的性能数据查询请求,根据性能数据查询请求判断内存的数据缓存区中是否存在与关键词对应的目标性能数据;如果存在,直接从数据缓存区中获取目标性能数据后返回;如不存在,根据关键词从数据库中批量读取多条性能数据并存储到数据缓存区中,从数据缓存区中获取目标性能数据后返回,数据库中按性能数据的业务类型分类存储且性能数据创建有日期索引。本发明实施例通过一次批量查询数据库后进行缓存,效率比每次单一直接查询数据库效率大大提高了几十倍。并且,减少了性能数据查询时内存和磁盘的读取交换次数,降低了系统高负荷运行的持续时间。

    一种性能指标数据采集方法和装置

    公开(公告)号:CN112152824B

    公开(公告)日:2023-07-11

    申请号:CN201910561066.0

    申请日:2019-06-26

    Inventor: 李伟

    Abstract: 本申请公开了一种性能指标数据采集方法和装置。方法包括:获取网络设备的待采集性能指标的信息,依据历史采集记录或性能指标与对象标识的对应关系,确定出所述待采集性能指标对应的第一采集表;所述第一采集表中包括所述待采集性能指标的对象标识;基于所述待采集性能指标的对象标识,调用简单网络管理协议SNMP采集接口,得到所述待采集性能指标的指标数据。本申请实施例的性能指标数据采集过程不需要人工参与,节省了运维的人工成本,减小了出错的几率。

    一种Netflow流量数据的采集方法和设备

    公开(公告)号:CN106899443A

    公开(公告)日:2017-06-27

    申请号:CN201510959078.0

    申请日:2015-12-18

    Inventor: 李伟 王庆磊

    CPC classification number: H04L43/00 H04L43/08

    Abstract: 本发明公开了一种Netflow流量数据的采集方法和设备。所述方法包括:设定接收外部网络设备发送的Netflow流量数据包的端口,并实时监听该端口;在监听到Netflow流量数据包时,按照Netflow协议将接收到的Netflow流量数据包解析为键值对结构,并将所述键值对结构与配置文件中配置的属性字段匹配,将匹配出的键值对数据封装为消息事件数据发送给传输通道进行缓存;从传输通道中获取所述消息事件数据,并将获取到的消息事件数据写入到配置文件指定目录下的文件中;将写有消息事件数据的文件下载导入到数据库中作为流量原始数据。本发明的技术方案采用流式处理实现Netflow流量数据的接收、分析、传送和存储,相比于单一处理方式具有更高的效率。

Patent Agency Ranking