并行压缩管理工具 Pcompress

openkk 12年前

pcompress是一种实用工具，做并行分裂成块的输入数据压缩/解压缩和重复数据删除。它具有模块化结构，包括支持LZMA算法，BZIP2，PPMD等，CRC64块校验等多种算法。捆绑LZMA压缩的SSE优化。它还实现了内容感知的重复数据删除和块级增量压缩功能的基础上半拉宾指纹图谱计划。它具有低的元数据开销和重叠的I / O和压缩，以达到最大的并行。它还捆绑了一个简单的slab分配器，以加快重复类似的块分配。它可以工作在管道模式，从标准输入读取和写入到 stdout。它还提供了一些自适应压缩在多种算法，每块试图确定在给定块的最佳模式。