数据收集系统 Chukwa

     <div id="p_fullcontent" class="detail">     <p>什么是 Chukwa，简单的说它是一个数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop（<span style="font-weight:bold;"><a href="/misc/goto?guid=4958183274341148845" target="_blank">Hadoop</a>并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。</span>） 进行各种 MapReduce （<span style="font-weight:bold;"><a href="/misc/goto?guid=4958191599660313638" target="_blank">MapReduce</a>是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（化简）"，和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。</span>）操作。Chukwa 本身也提供了很多内置的功能，帮助我们进行数据的收集和整理。</p>     <p>为了更加简单直观的展示 Chukwa，我们先来看一个假设的场景。假设我们有一个规模很大 ( 牵扯到 Hadoop 的总是很大。。。。) 的网站，网站每天产生数量庞大的日志文件，要收集，分析这些日志文件可不是件容易的事情，读者可能会想了，做这种事情 Hadoop 挺合适的，很多大型网站都在用，那么问题来了，分散在各个节点的数据怎么收集，收集到的数据如果有重复数据怎么处理，如何与 Hadoop 集成。如果自己编写代码完成这个过程，一来需要花费不小的精力，二来不可避免的会引入 Bug。这里就是我们 Chukwa 发挥作用的时候了，Chukwa 是一个开源的软件，有很多聪明的开发者在贡献着自己的智慧。它可以帮助我们在各个节点实时监控日志文件的变化，增量的将文件内容写入 HDFS，同时还可以将数据去除重复，排序等，这时 Hadoop 从 HDFS 中拿到的文件已经是 SequenceFile 了。无需任何转换过程，中间繁杂的过程都由 Chukwa 帮我们完成了。是不是很省心呢。这里我们仅仅举了一个应用的例子，它还可以帮我们监控来自 Socket 的数据，甚至定时执行我们指定的命令获取输出数据，等等，具体的可以参看 Chukwa 官方文档。如果这些还不够，我们还可以自己定义自己的适配器来完成更加高级的功能。</p>     <p><img title="数据收集系统 Chukwa" border="0" alt="数据收集系统 Chukwa" src="https://simg.open-open.com/show/5f25841a297d1683065a022a94f63c43.jpg" width="551" height="164" /><br /> 项目地址：<a href="/misc/goto?guid=4958191600399904304" target="_blank">http://incubator.apache.org/chukwa/</a></p>    </div>