PB级海量数据处理系统 Maxtable
openkk
13年前
Maxtable是一个高性能、可扩展的、PB级海量数据处理系统,是一个开源项目。Maxtable是用C语言开发的,目前只有不到2万行代码,是一个轻量型的海量存储系统,它为每一个不同的应用场景开发特有的 branch,以达到更好的适应用户业务的目的, 现在已经应用在一家公司的虚拟化产品环境中的后台元数据管理存储系统。
Maxtable目前的应用领域主要包括:
- key-value且value的大小在4M范围内的数据模式,
- 元数据管理,如大型云存储的元数据管理,或者大型key-value系统的key管理。
- 数据挖掘与分析领域。目前maxtable支持range query,delete等操作,未来会根据具体应用场景进行定制开发。