-
公开(公告)号:CN115331739A
公开(公告)日:2022-11-11
申请号:CN202111627707.1
申请日:2021-12-28
Applicant: 南京工业职业技术大学
Abstract: 本发明公开了一种基于Spark的大规模基因序列无损并行化压缩方法,包括参考序列和待压缩序列的预处理步骤,主节点提取参考序列基本碱基序列并构建匹配索引,将参考序列基本碱基序列及其匹配索引以压缩广播变量的形式发送至所有工作节点;各工作节点并行提取待压缩序列基本碱基序列并创建RDD,序列辅助信息单独编码存储;再经过首次并行匹配步骤,二次匹配索引构建步骤,二次并行匹配步骤最终得到压缩文件。本发明充分结合大规模基因二次迭代压缩和Spark基于内存分布数据集的特点,比其他基因压缩方法取得更高的压缩率,更高的压缩速度,并具备优秀的可扩展性。