并行压缩管理工具 Pcompress 0.8.5 发布

jopen 12年前

此版本将大大增强核心重复数据删除逻辑,提高性能,分块,匹配精度,并实现了一个 K-Min-Values (MinHash) 草图用于相似性匹配。现在用户可以选择增量压缩程度。添加支持固定块重复数据删除。减少内存使用,并已经变得更加切合实际的使用。此还修正几个错误。

pcompress是一种实用工具,做并行分裂成块的输入数据压缩/解压缩和重复数据删除。它具有模块化结构,包括支持LZMA算法,BZIP2,PPMD等,CRC64块校验等多种算法。捆绑LZMA压缩的SSE优化。它还实现了内容感知的重复数据删除和块级增量压缩功能的基础上半拉宾指纹图谱计划。它具有低的元数据开销和重叠的I / O和压缩,以达到最大的并行。它还捆绑了一个简单的slab分配器,以加快重复类似的块分配。它可以工作在管道模式,从标准输入读取和写入到 stdout。它还提供了一些自适应压缩在多种算法,每块试图确定在给定块的最佳模式。