公开(公告)号：CN103326730A

公开(公告)日：2013-09-25

申请号：CN201310223858.X

申请日：2013-06-06

Applicant: 清华大学

Inventor： 付昊桓 ,  甘霖 ,  魏腾鹏 ,  王英侨 ,  黄小猛 ,  杨广文

IPC: H03M7/30

Abstract: 一种数据并行压缩方法，该方法包括读取步骤，通过并行I/O从存储装置中读取待压缩数据；切分步骤，将待压缩数据均匀切分成N个数据块，并将所述N个数据块保存至每个数据块所对应的输入缓冲区；压缩编码步骤，每个进程控制对应的输入缓冲区中的数据块，并利用多线程的方法对该数据块进行并行压缩编码，将压缩编码后的数据存入输出缓冲区；写入步骤，合并输出缓冲区中各个进程并行压缩编码后的数据，并将所述合并后的数据写入输出文件中。该方法在取得理想的压缩比的同时，大大降低压缩过程对时间的开销，能够很好的应用于云存储或数据库系统中，解决压缩实时性不高的问题，提高了压缩的整体性能。

公开(公告)号：CN103326730B

公开(公告)日：2016-05-18

申请号：CN201310223858.X

申请日：2013-06-06

Applicant: 清华大学

Inventor： 付昊桓 ,  甘霖 ,  魏腾鹏 ,  王英侨 ,  黄小猛 ,  杨广文

IPC: H03M7/30

Abstract: 一种数据并行压缩方法，该方法包括读取步骤，通过并行I/O从存储装置中读取待压缩数据；切分步骤，将待压缩数据均匀切分成N个数据块，并将所述N个数据块保存至每个数据块所对应的输入缓冲区；压缩编码步骤，每个进程控制对应的输入缓冲区中的数据块，并利用多线程的方法对该数据块进行并行压缩编码，将压缩编码后的数据存入输出缓冲区；写入步骤，合并输出缓冲区中各个进程并行压缩编码后的数据，并将所述合并后的数据写入输出文件中。该方法在取得理想的压缩比的同时，大大降低压缩过程对时间的开销，能够很好的应用于云存储或数据库系统中，解决压缩实时性不高的问题，提高了压缩的整体性能。