-
公开(公告)号：CN104408147A
公开(公告)日：2015-03-11
申请号：CN201410722793.8
申请日：2014-12-02
Applicant: 浪潮(北京)电子信息产业有限公司
IPC: G06F17/30
CPC classification number: G06F17/30194
Abstract: 提出一种多线程数据上传方法，所述方法配置需要上传的文件所在源路径信息、文件需要上传到HDFS系统的目的路径信息以及可以使用的线程数目信息；根据所述需要上传的文件的数据量和配置的所述线程数目信息确定每个线程需要处理的数据范围；基于配置的所述信息和确定的所述数据范围执行多线程并行数据上传。所述方法将一个大的文本文件分为多个文件并行上传到HDFS系统中，从而提高写入速度，大大降低了文件上传的时间。
Search Results
11
records
(took 0.023 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
