-
公开(公告)号:CN101770461A
公开(公告)日:2010-07-07
申请号:CN200810187997.0
申请日:2008-12-31
Applicant: 中国移动通信集团黑龙江有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据处理方法及处理系统。其中数据处理方法包括:根据预设的配置文件从数据源抽取数据;在内存中对抽取的数据进行第一转换;将第一转换后的数据载入到数据仓库中;根据预设的任务对数据仓库中的数据进行第二转换。本发明的数据处理方法及处理系统,根据转换的数据量和特性,通过将转换效率较高、系统资源消耗小的第一转换在内存中执行,而将其他转换效率低且系统资源消耗较大的转换在数据仓库中进行,大大减少了内存中处理数据的切换,降低了主机I/O资源吞吐,并且,利用数据库的索引技术,使得海量数据的关联转换效率大幅度提高。