基于内存计算的高性能数据处理系统
摘要:
本发明公开了基于内存计算的高性能数据处理系统,包括:一数据采集接口定义模块,通过选择数据表,并自动提取数据表相关字段,由用户根据字段类型和范围进行压缩方式定义;一数据实时采集模块,根据数据采集接口定义模块定义的元数据从数据源抽取相关数据,其中元数据一般指定义数据格式的数据,数据源是指具体业务数据,一般指企业业务系统关系数据库;一数据内存存储模块,将数据通过字典方式,整形编码和压缩算法以字节码的形式存内存之中;以及一数据处理模块,所述数据处理模块包括SQL解析模块,根据需要将统计中的记录进行提取。本发明将数据经过在不损失统计精度和速度的前提下经过压缩和重组以字节的方式存入内存。
公开/授权文献
0/0