一种可链接式流式数据解析动态流程构建模型实现方法

    公开(公告)号:CN108111344B

    公开(公告)日:2020-08-04

    申请号:CN201711370575.2

    申请日:2017-12-19

    Abstract: 本发明提供了一种可链接式流式数据解析动态流程构建模型实现方法,根据通道/信号码流解析任务的任务参数,获取数据通信路径并匹配可链接式处理单元算法,构建可链接式处理单元算法单元实例化对象;通过可链接式处理单元算法单元控制接口初始化所述实例化对象,以通道/信号的数据通信路径为次序设置各个可链接式处理算法单元间的链接关系,实现通道/信号的数据在流式处理流转的处理链构建;最后调用该处理链单元链接首节点的数据接口和参数接口,完成码流数据在各链接式处理算法单元对象的流转处理。与现有技术相比,能针对流式通信协议码流数据解析,这种层层剥离迭代解析的流式数据处理,且在信号码流处理的流式及控制上均有良好的可伸缩性。

    一种帧格式流式信号数据高性能软件解析方法

    公开(公告)号:CN111064727A

    公开(公告)日:2020-04-24

    申请号:CN201911313663.8

    申请日:2019-12-18

    Abstract: 本发明公开了一种帧格式流式信号数据高性能软件解析方法,属于通信技术领域,首先对流式信号数据进行管理,实现数据写入和读取的并行异步化;再对管理后的流式信号数据进行预切片处理,得到若干分片;接着对各个分片进行再定界,使每个分片具有完整数据帧;再并行化对每一具有完整数据帧的分片进行帧格式解析;最后将解析后的分片按照顺序进行输出;本发明在性能上能达到与硬件设备同等性能的实时线速处理,同时可基于实现对多种协议支持的适用性、协议更新换代升级灵活性、根据实际信号流量进行服务器能力的动态调整的经济性等诸多优势。

    大数据平台监控方法
    13.
    发明公开

    公开(公告)号:CN108712465A

    公开(公告)日:2018-10-26

    申请号:CN201810332243.3

    申请日:2018-04-13

    Inventor: 俞鹏飞

    CPC classification number: H04L67/10 G06F11/3006 G06F11/3055 G06F11/3089

    Abstract: 大数据平台监控方法,涉及计算机技术。本发明包括下述步骤:1)从大数据平台中采集状态数据,所述状态数据包括组件状态数据;2)对采集的结果依据既定的规则进行计算处理,并存储计算的结果;3)若计算结果满足报警条件,则通过API接口发出报警信息,其特征在于,所述步骤1)中,状态数据还包括系统流量数据,所述系统流量数据包括大数据平台各个流程、组件的系统流量。本发明的有益效果是,能够全面、实时监控集群、节点以及节点上计算作业的运行情况,及时发现异常并告警,保证调度任务的顺利完成,具有更高的灵敏度和可靠性。

    一种流式通信数据协议解析软件框架实现系统及方法

    公开(公告)号:CN108400992A

    公开(公告)日:2018-08-14

    申请号:CN201810181041.3

    申请日:2018-03-06

    Abstract: 本发明提供了一种流式通信数据协议解析软件框架实现系统及方法,包括资源层、流式通信协议数据处理业务层和用户GUI/CUI交互层;针对于流式通信协议码流数据解析,层层剥离迭代解析的流式数据处理,体系化的构建软件框架从UI交互、任务控制流程构建、流式通信协议码流数据解析任务及数据输出任务模型均有针对性的解决技术方案;构建软件框架中的模块构件间的连接控制管理均有清晰的描述,各个模块构件均可单独实现为动态库,保障模块构件的可根据实际的项目需要进行适用性修正或替换,整个软件框架具备良好的可伸缩性。

    一种多源流式大数据融合汇聚处理框架模型实现方法

    公开(公告)号:CN111078781B

    公开(公告)日:2023-05-26

    申请号:CN201911395133.2

    申请日:2019-12-30

    Abstract: 本发明公开了一种多源流式大数据融合汇聚处理框架模型实现方法,包括:多源流式数据采集实现方法包括:流式数据采集代理和多源流式数据采集服务,提供汇聚元数据标准,进行流式多源数据采集;多源流式数据融合处理实现方法包括:多源流式数据融合汇聚,提供基于Flink&Spark Stream流式处理引擎,依据汇聚元数据标准,配置采集的流式多源数据融合进行流式数据处理,加工为符合汇聚元数据标准要求的汇聚元数据,进行规整化汇聚元数据标准存储,为汇聚数据统计挖掘分析提供数据。本发明融合大数据处理主流Flink、Sprakstream开源技术组件,解决多源数据融合汇聚处理中的多源数据互补、特征算子化加工、汇聚元数据标准化、流式目标数据匹配。

    一种分布式模块化插件框架实现系统及方法

    公开(公告)号:CN112230987A

    公开(公告)日:2021-01-15

    申请号:CN202011180195.4

    申请日:2020-10-29

    Inventor: 李芝权 俞鹏飞

    Abstract: 本发明公开了一种分布式模块化插件软件框架实现系统及方法,所述系统包括UI层、业务层、基础插件层与外部资源层;基础插件层包括分布式服务调度中心、分布式客户端与配置中心;外部资源层包括zookeeper模块与Git/Svn模块;所述业务插件、分布式服务调度中心、分布式客户端与配置中心均设置于OSGI容器;所述方法包括节点注册方法、服务注册方法与配置注册方法。本发明在OSGI容器的基础能力上进行了封装,对服务配置进行集中统一管理,使提供的服务具备高可伸缩性和可管理性;系统兼容性高,且具备可移植性,可适用业务更新频繁、需要快速响应的各种企业系统。

    一种检测E1/T1链路时隙绑定方式的方法及设备

    公开(公告)号:CN109412895B

    公开(公告)日:2020-09-18

    申请号:CN201811355084.5

    申请日:2018-11-14

    Abstract: 本发明公开了一种检测E1/T1链路时隙绑定方式的方法及设备,该方法包括:将待检测时隙中在连续M帧内从“空闲”状态转变到“工作”状态的时隙初步判定为绑定时隙,其中,M≥2,且M为整数;对初步判定为绑定的时隙,将其数据按照绑定时隙序列化,重组为Payload数据;去除Payload数据中的空闲填充,提取出数据帧;使用支持的链路层协议对数据帧进行解析。本发明具有速度快,效率高的优点。在不考虑使用缓存数据的情况下,仅需要一帧Payload数据即可以判定E1/T1链路时隙绑定方式,可以更少丢失Payload数据。且本发明不局限于类HDLC数据,适用范围更广;并可以自动适应E1/T1链路时隙绑定方式动态变化的场景。

    一种流式通信数据协议解析软件框架实现系统及方法

    公开(公告)号:CN108400992B

    公开(公告)日:2020-05-26

    申请号:CN201810181041.3

    申请日:2018-03-06

    Abstract: 本发明提供了一种流式通信数据协议解析软件框架实现系统及方法,包括资源层、流式通信协议数据处理业务层和用户GUI/CUI交互层;针对于流式通信协议码流数据解析,层层剥离迭代解析的流式数据处理,体系化的构建软件框架从UI交互、任务控制流程构建、流式通信协议码流数据解析任务及数据输出任务模型均有针对性的解决技术方案;构建软件框架中的模块构件间的连接控制管理均有清晰的描述,各个模块构件均可单独实现为动态库,保障模块构件的可根据实际的项目需要进行适用性修正或替换,整个软件框架具备良好的可伸缩性。

    一种实时动态亲密度关系分析方法及系统

    公开(公告)号:CN111092764A

    公开(公告)日:2020-05-01

    申请号:CN201911321297.0

    申请日:2019-12-18

    Inventor: 高恒 俞鹏飞 罗林

    Abstract: 本发明公开了一种实时动态亲密度关系分析方法及系统,属于亲密度关系分析技术领域,首先对流式通信协议中用户通联行为数据进行要素解析,得到要素数据;接着对所述要素数据进行特征识别,并将特征识别后的要素数据存入通联信息要素特征记录库;再对通联信息要素特征库中的要素数据进行统计,并将统计结果存入通联信息特征统计库;最后采用亲密度评估模型对通联目标的统计结果进行分析,得到通联目标间的亲密度关系分析结果,所述亲密度评估模型包括亲密度综合加权指标分析和亲密度特征标签分析;本发明可在内容数据源单一或稀少而用户通联行为数据信息资源丰富场景下,对通信协议数据中的用户通联信息要素抽取及特征识别,实现亲密度关系分析。

    一种多源流式大数据融合汇聚处理框架模型实现方法

    公开(公告)号:CN111078781A

    公开(公告)日:2020-04-28

    申请号:CN201911395133.2

    申请日:2019-12-30

    Abstract: 本发明公开了一种多源流式大数据融合汇聚处理框架模型实现方法,包括:多源流式数据采集实现方法包括:流式数据采集代理和多源流式数据采集服务,提供汇聚元数据标准,进行流式多源数据采集;多源流式数据融合处理实现方法包括:多源流式数据融合汇聚,提供基于Flink&Spark Stream流式处理引擎,依据汇聚元数据标准,配置采集的流式多源数据融合进行流式数据处理,加工为符合汇聚元数据标准要求的汇聚元数据,进行规整化汇聚元数据标准存储,为汇聚数据统计挖掘分析提供数据。本发明融合大数据处理主流Flink、Sprakstream开源技术组件,解决多源数据融合汇聚处理中的多源数据互补、特征算子化加工、汇聚元数据标准化、流式目标数据匹配。

Patent Agency Ranking