提供程序使用 Apache Spark 的基础:Spark Kernel

ynnc 9年前

Spark Kernel 的最主要目标:提供基础给交互应用程序联系和使用 Apache Spark。

几个主要特性:

  1. 定义和运行 Spark 任务

    • 以类似 Scala REPLSpark Shell 的方式,动态地执行 Scala 代码

  2. 收集数据存储的结果

    • 通过 Spark Kernel,将执行结果和数据流返回到你的应用程序。

    • 使用 Comm API —— 一个 IPython 协议的抽象 —— 在你的应用程序和 Spark Kernel 之间进行更详细的数据通信和同步。

  3. 脱离 Apache Spark 来主持(Host)和管理你的应用。

    • Spark Kernel 作为向 Apache Spark 集群发出的请求的一个代理。



提供程序使用 Apache Spark 的基础:Spark Kernel

项目主页:http://www.open-open.com/lib/view/home/1438092747753