一种密集型数据通用处理方法

    公开(公告)号:CN102469127A

    公开(公告)日:2012-05-23

    申请号:CN201010540820.1

    申请日:2010-11-12

    Abstract: 本发明属于信息处理技术领域,公开了一种密集型数据处理通用方法,通过用数据处理管道和面向不同类型数据处理的可配置框架,提供异构多源密集型数据的采集、处理和可视化的统一实现方法。方法包括:S1,数据采集和接收管道,提供原始数据的采集和接收监听;S2,数据处理/存储管道,提供原始数据的解析、预处理、加工和统一存储;S3,数据可视化管道,提供数据共享和展示方法;S4,面向不同类型数据处理的可配置框架,实现面向不同任务的密集型数据处理流程的定制。本发明适用于建立通用的密集型数据处理系统,以解决不同任务目标下的密集型数据的采集、处理和可视化。

Patent Agency Ranking