分布式分析引擎,Apache Kylin v1.0 发布

jopen 9年前

Apache Kylin 团队非常高兴宣布Apache Kylin v1.0 (incubating) 正式发布。Apache Kylin是一个分布式分析引擎,在Hadoop之上提供SQL接口及OLAP在线多维分析以支持超大规模数据集。

该版本带来了更加稳定,可靠及更好管理的版本,解决了诸多Bug,增强及新功能等47个任务。

主要变化

Kylin核心增强

  • 支持动态数据模型,在特定条件下对新增/删除字段的数据模型不需要从头构建

  • 升级Apache Calcite至1.3以修复多个Bug及支持新的SQL函数等

  • 增强了清理任务以确保Cube构建成功后在本地操作系统,HDFS/HBase等不遗留垃圾文件等

  • 添加配置项允许讲Hive中间表输出到指定数据库

  • 增强HBase Corprocessor 以提升查询性能

  • Kylin 系统仪表盘(Beta)以展现使用情况,存储及性能等指标

主要的Bug修复

  • 不能获取原始记录值,特别是使用非HDP的Hadoop版本

  • 前端缓存未及时刷新

  • 不再使用的Hive中间表会在Cube构建完成后自动删除

  • 支持大Lookup表

  • JDBC驱动,ODBC驱动及UI等Bug修复

Zeppelin 整合

Apache Zeppelin是一个类似Spark Notebook的基于web的交互式数据分析工具,Apache Kylin 团队为Zeppelin贡献了Kylin Interpreter以让Zeppelin用户能够在Notebook中与Kylin以标准SQL的方式进行交互式查询。目前已经由Zeppelin社区合并至其主代码中,有兴趣的同学可以去Zeppelin网站下载来试用。

升级

我们推荐从v0.7.x甚至更早的版本升级到该版本,以获得更好的性能,稳定性及更干净的版本(大部分中间文件将被自动回收),并且与社区保持同步以获得最新的功能及支持。

升级过程如有任何问题或疑问,请发送邮件至Apache Kylin邮件列表:dev@kylin.incubator.apache.org

感谢

本次版本发布中,除了来自eBay的核心开发团队外,更有来自美团,明略数据,广东移动等多位小伙伴的大力支持,并贡献了多个Patch及新功能。其中来自美团的高大月和明略数据的黄桦已经成为Apache Kylin committer。

感谢每一位为Apache Kylin社区贡献的朋友。


下载:http://kylin.incubator.apache.org/download/