Spring Hadoop - 整合Spring框架和Apache Hadoop平台的开源项目
openkk
13年前
这个项目整合了 Spring 框架和 Apache Hadoop 平台。该项目提供了一种方便的机制，让我们可以通过 Spring 容器来配置、创建和执行各种各样的服务和工具，像 MapReduce、Hive、Pig 和 Cascading 作业等。此外，该项目还通过 JVM 脚本语言——像 Groovy、JRuby、Jython 和 Rhino——提供了对 HDFS 数据访问的支持，为 HBase 提供了声明式配置的支持，以及对 Hadop 工具（包括 FS Shell 和 DistCp）提供了声明和编程的支持。
可能更有意义的是，工具还为基于 Spring 的应用程序提供了一种便利方式，可以使用 Hadoop 作为数据分析工具，而这些数据可能来自多个源，像 Spring Integration 和 Spring Batch，以及传统的关系型数据库等等。“例如，你可以让 Hadoop 作业成为 Spring Batch 环境中的 tasklet，从而我们可以开始对其进行调整，并在作业完成时拥有触发器。
这样，和新发布的 Hadoop 项目一样，它更广泛的目标是为各种不同样式的 SQL 和 NoSQL 数据库——关系型数据库、图型数据库、文档数据库、键值数据库等等——提供一等支持，并显式地支持某些那种更流行的产品类型。当前这包括对 JPA 的支持，还有 MongoDB、Redis 和 Neo4J，并且 Cassandra 方面也在进行中。Colyer 认为这个列表反映出当前 SpringSource 的企业用户中处于领先地位的产品，但是需要强调的是，在大多数大型企业中，对 NoSQL 数据库的使用还处于初级阶段。