提供程序使用 Apache Spark 的基础:Spark Kernel
ynnc
9年前
Spark Kernel 的最主要目标:提供基础给交互应用程序联系和使用 Apache Spark。
几个主要特性:
-
定义和运行 Spark 任务
-
以类似 Scala REPL 和 Spark Shell 的方式,动态地执行 Scala 代码
-
收集数据存储的结果
-
通过 Spark Kernel,将执行结果和数据流返回到你的应用程序。
-
使用 Comm API —— 一个 IPython 协议的抽象 —— 在你的应用程序和 Spark Kernel 之间进行更详细的数据通信和同步。
-
脱离 Apache Spark 来主持(Host)和管理你的应用。
-
Spark Kernel 作为向 Apache Spark 集群发出的请求的一个代理。