分布式分析引擎 Apache Kylin v1.5.2 发布
jopen 8年前
<p style="text-align:center"><img alt="" src="https://simg.open-open.com/show/0148429cb2d634a57e250426ed21f245.jpg" /></p> <p>Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。</p> <p><img src="https://simg.open-open.com/show/b82da6df6d5da39a50076353bb30cf2a.png" /></p> <h2>KYLIN是什么?</h2> <p><strong>- 可扩展超快OLAP引擎: </strong></p> <p>Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计</p> <p> </p> <p><strong>- Hadoop ANSI SQL 接口: </strong></p> <p>Kylin为Hadoop提供标准SQL支持大部分查询功能</p> <p> </p> <p><strong>- 交互式查询能力: </strong></p> <p>通过Kylin，用户可以与Hadoop数据进行亚秒级交互，在同样的数据集上提供比Hive更好的性能</p> <p> </p> <p><strong>- 多维立方体（MOLAP Cube）:</strong></p> <p>用户能够在Kylin里为百亿以上数据集定义数据模型并构建立方体</p> <p> </p> <p><strong>- 与BI工具无缝整合:</strong></p> <p>Kylin提供与BI工具，如Tableau，的整合能力，即将提供对其他工具的整合</p> <p> </p> <p><strong>- 其他特性:</strong> </p> <p>- Job管理与监控 <br /> - 压缩与编码 <br /> - 增量更新 <br /> - 利用HBase Coprocessor<br /> - 基于HyperLogLog的Dinstinc Count近似算法 <br /> - 友好的web界面以管理，监控和使用立方体 <br /> - 项目及立方体级别的访问控制安全<br /> - 支持LDAP</p> <p> </p> <h2>KYLIN 生态圈</h2> <p> </p> <p><strong>Kylin 核心:</strong> Kylin OLAP引擎基础框架，包括元数据（Metadata）引擎，查询引擎，Job引擎及存储引擎等，同时包括REST服务器以响应客户端请求</p> <p><strong>扩展:</strong> 支持额外功能和特性的插件</p> <p><strong>整合:</strong> 与调度系统，ETL，监控等生命周期管理系统的整合</p> <p><strong>用户界面:</strong> 在Kylin核心之上扩展的第三方用户界面</p> <p><strong>驱动:</strong> ODBC 和 JDBC 驱动以支持不同的工具和产品，比如Tableau</p> <h2>更新日志</h2> <p>这是一个主要的版本发布带来了更稳定，健壮及更好管理的版本，Apache Kylin社区解决了75个issue，包括Bug修复，功能增强及一些新特性等。</p> <h2>主要变化</h2> <p><strong>新功能</strong></p> <ul> <li>Count Distinct可以工作在未实现定义的维度上 <a href="/misc/goto?guid=4958990771127006532">KYLIN-1016</a></li> <li>支持Hive视图作为Lookup表 <a href="/misc/goto?guid=4958990771213424500">KYLIN-1077</a></li> <li>使Kylin运行在MapR环境中 <a href="/misc/goto?guid=4958990771345277294">KYLIN-1515</a></li> <li>通过GUI下载诊断zip包 <a href="/misc/goto?guid=4958990771476060883">KYLIN-1600</a></li> <li>使Kylin支持cdh5.7 <a href="/misc/goto?guid=4958990771603453900">KYLIN-1672</a></li> <li>显示时间列作为分区列 <a href="/misc/goto?guid=4958990771728245925">KYLIN-1441</a></li> </ul> <p><strong>改进</strong></p> <ul> <li>增强邮件通知 <a href="/misc/goto?guid=4958990771845278983">KYLIN-869</a></li> <li>HiveColumnCardinalityJob应该使用conf/kylin_job_conf.xml中的配置 <a href="/misc/goto?guid=4958990771965385297">KYLIN-955</a></li> <li>在非PK/FK上支持继承的维度 <a href="/misc/goto?guid=4958990772050623819">KYLIN-1313</a></li> <li>增强转换数据到HFile阶段的性能 <a href="/misc/goto?guid=4958990772155895088">KYLIN-1323</a></li> <li>抽取cube/hybrid/project相关元数据信息以便于诊断/调试/分享等用途 <a href="/misc/goto?guid=4958990772259643433">KYLIN-1340</a></li> <li>把RealizationCapacity从3套配置改成特定数字 <a href="/misc/goto?guid=4958990772367772244">KYLIN-1381</a></li> <li>更快更好的响应以应对v2存储引擎中的rpc超时异常 <a href="/misc/goto?guid=4958990772474831787">KYLIN-1391</a></li> <li>内存需求较大的Cube应该更智能地选择LAYER还是INMEM构建算法 <a href="/misc/goto?guid=4958990772577879999">KYLIN-1418</a></li> <li>在GUI上，给分区时间列添加一个”yyyy-MM-dd HH:MM:ss”选项 <a href="/misc/goto?guid=4958990772678798581">KYLIN-1432</a></li> <li>基于特定列进行Cuboid分片 <a href="/misc/goto?guid=4958990772771216618">KYLIN-1453</a></li> <li>添加超链接介绍新的Aggregation Group <a href="/misc/goto?guid=4958990772862393270">KYLIN-1487</a></li> <li>把查询缓存调整到查询控制器级别 <a href="/misc/goto?guid=4958990772953057688">KYLIN-1526</a></li> <li>Hfile所有者不是hbase <a href="/misc/goto?guid=4958990773034058176">KYLIN-1542</a></li> <li>使hbase编码和block size像hbase压缩一样可配置 <a href="/misc/goto?guid=4958990773115695763">KYLIN-1544</a></li> <li>重构v2存储引擎使之对扩展更加友好 <a href="/misc/goto?guid=4958990773200176824">KYLIN-1561</a></li> <li>为in-memory构建任务添加并使用一个单独kylin_job_conf.xml <a href="/misc/goto?guid=4958990773295317901">KYLIN-1566</a></li> <li>KYLIN-1557前端工作 <a href="/misc/goto?guid=4958990773386627095">KYLIN-1567</a></li> <li>协助利器线程在超时后自动停止 <a href="/misc/goto?guid=4958990773480819833">KYLIN-1578</a></li> <li>IT测试如BuildCubeWithEngine等的准备阶段应该在出现异常后报错退出 <a href="/misc/goto?guid=4958990773563284562">KYLIN-1579</a></li> <li>在Fact distinct的MR任务中用1个字节代替8字节作为列标识符 <a href="/misc/goto?guid=4958990773685312318">KYLIN-1580</a></li> <li>在Cubedesc上指定Region切分size并使model中的RealizationCapacity仅仅作为提示 <a href="/misc/goto?guid=4958990773799923608">KYLIN-1584</a></li> <li>使MAX_HBASE_FUZZY_KEYS在GTScanRangePlanner中变得可配置<a href="/misc/goto?guid=4958990773925591309">KYLIN-1585</a></li> <li>在CubeDesigner显示Cube级别的配置覆盖 <a href="/misc/goto?guid=4958990774041948841">KYLIN-1587</a></li> <li>对于小的列族可以使用不同的block size <a href="/misc/goto?guid=4958990774165321241">KYLIN-1591</a></li> <li>在Rowkey面板添加”isShardBy”标志 <a href="/misc/goto?guid=4958990774292406551">KYLIN-1599</a></li> <li>在hbase行很大的时候不需要缩小扫描缓存 <a href="/misc/goto?guid=4958990774406220656">KYLIN-1601</a></li> <li>用户应该可以到处hbase使用情况协助诊断 <a href="/misc/goto?guid=4958990774520311518">KYLIN-1602</a></li> <li>为诊断工具添加更多信息 <a href="/misc/goto?guid=4958990774659066515">KYLIN-1614</a></li> <li>在协处理器中使用1级deflate压缩 <a href="/misc/goto?guid=4958990774777718749">KYLIN-1621</a></li> <li>使数据采样时hll精度可配置 <a href="/misc/goto?guid=4958990774910743897">KYLIN-1623</a></li> <li>当有十亿数据规模时HyperLogLogPlusCounter会变得不精确 <a href="/misc/goto?guid=4958990775023364638">KYLIN-1624</a></li> <li>GC日志在重启后覆盖老文件 <a href="/misc/goto?guid=4958990775131593727">KYLIN-1625</a></li> <li>添加调试接口以导出二进制cube存储情况以助于未来分析 <a href="/misc/goto?guid=4958990775234902201">KYLIN-1627</a></li> </ul> <p><strong>Bug</strong></p> <ul> <li>时间戳字段的列宽太小 <a href="/misc/goto?guid=4958990775345160663">KYLIN-989</a></li> <li>cube数据在purge后没有更新 <a href="/misc/goto?guid=4958990775458001923">KYLIN-1197</a></li> <li>不能在配置中获取超过一个的系统管理员邮箱 <a href="/misc/goto?guid=4958990775575113635">KYLIN-1305</a></li> <li>应该检查并确保topn度量必须指定两个参数 <a href="/misc/goto?guid=4958990775701001908">KYLIN-1551</a></li> <li>HybridInstance#init()中进行非安全性的初始化 <a href="/misc/goto?guid=4958990775826063332">KYLIN-1563</a></li> <li>在GUI中添加一个自定义聚合时选择一个列 <a href="/misc/goto?guid=4958990775943496323">KYLIN-1569</a></li> <li>QueryService#getMetadata()存在没有关闭的ResultSet <a href="/misc/goto?guid=4958990776080508593">KYLIN-1574</a></li> <li>在Job engine中执行MR任务时报出NPE <a href="/misc/goto?guid=4958990776213038878">KYLIN-1581</a></li> <li>当编辑Cube时聚合组信息会变空 <a href="/misc/goto?guid=4958990776340420209">KYLIN-1593</a></li> <li>度量列可以出现在filter/groupby中 <a href="/misc/goto?guid=4958990776477795705">KYLIN-1595</a></li> <li>字符串编码不一致导致UT失败 <a href="/misc/goto?guid=4958990776600449462">KYLIN-1596</a></li> <li>在windows开发机不能完整执行单元测试 <a href="/misc/goto?guid=4958990776746702392">KYLIN-1598</a></li> <li>部署协处理器时会出现hdfs并发写问题 <a href="/misc/goto?guid=4958990776874629324">KYLIN-1604</a></li> <li>Cube已经就绪但是insight中的表没有记录 <a href="/misc/goto?guid=4958990777007716552">KYLIN-1612</a></li> <li>单元测试’HiveCmdBuilderTest’在’testBeeline’失败 <a href="/misc/goto?guid=4958990777132666370">KYLIN-1615</a></li> <li>因topn度量引起的找不到realization <a href="/misc/goto?guid=4958990777262721035">KYLIN-1619</a></li> <li>sql无法执行并报出topn错误 <a href="/misc/goto?guid=4958990777390908701">KYLIN-1622</a></li> <li>TopN界面,”group by”列不能使用一个维度列 <a href="/misc/goto?guid=4958990777528055579">KYLIN-1631</a></li> <li>SSHClient#scpFileToLocal()有未关闭的OutputStream <a href="/misc/goto?guid=4958990777650258819">KYLIN-1634</a></li> <li>样例Cube构建出错 <a href="/misc/goto?guid=4958990777779725628">KYLIN-1637</a></li> <li>ToolUtil#getHBaseMetaStoreId()中有未关闭的HBaseAdmin <a href="/misc/goto?guid=4958990777902336673">KYLIN-1638</a></li> <li>MapReduceExecutable.java中使用了错误的日志记录 <a href="/misc/goto?guid=4958990778038711329">KYLIN-1639</a></li> <li>Kylin的hll计数器把null当做一个有效值 <a href="/misc/goto?guid=4958990778157072755">KYLIN-1643</a></li> <li>Purge一个cube并再次构建，起始日期没有被更新 <a href="/misc/goto?guid=4958990778278446849">KYLIN-1647</a></li> <li>java.io.IOException: Filesystem closed - 在Cube构建第二步(MapR) <a href="/misc/goto?guid=4958990778396503697">KYLIN-1650</a></li> <li>函数名’getKylinPropertiesAsInputSteam’拼写错误 <a href="/misc/goto?guid=4958990778510414890">KYLIN-1655</a></li> <li>Streaming/kafka配置和表名不匹配 <a href="/misc/goto?guid=4958990778621874293">KYLIN-1660</a></li> <li>表名在和/tables/tableName做请求映射时被截断 <a href="/misc/goto?guid=4958990778737597225">KYLIN-1662</a></li> <li>在添加steam表时应该检查project选择 <a href="/misc/goto?guid=4958990778845341033">KYLIN-1666</a></li> <li>Streaming表名应该遵从”DB.TABLE”格式 <a href="/misc/goto?guid=4958990778946617060">KYLIN-1667</a></li> <li>确保1.5.2和1.5.1的元数据兼容 <a href="/misc/goto?guid=4958990779062805336">KYLIN-1673</a></li> <li>元数据清理工具只清理了FINISHED和DISCARD的任务，但是一个任务的正确状态是SUCCEED <a href="/misc/goto?guid=4958990779154608683">KYLIN-1678</a></li> <li>当使用Statement时sql中包含问号会报错 <a href="/misc/goto?guid=4958990779241288173">KYLIN-1685</a></li> <li>结果显示表格中有非法字符 <a href="/misc/goto?guid=4958990779339444845">KYLIN-1688</a></li> <li>KylinConfigExt在存储到文件时丢失基本信息 <a href="/misc/goto?guid=4958990779426104488">KYLIN-1721</a></li> <li>IntegerDimEnc在协处理器中有序列化异常 <a href="/misc/goto?guid=4958990779517223331">KYLIN-1722</a></li> </ul> <h2>下载</h2> <p><strong>1.5.2 最新发布(源代码)</strong></p> <p>最新发布的Apache Kylin™可以从ASF网站下载：:</p> <ul> <li><a href="/misc/goto?guid=4958990779609498993">Apache Kylin v1.5.2</a></li> <li><a href="/misc/goto?guid=4958990779704851884">发布日志</a></li> <li>Git 标签: <a href="/misc/goto?guid=4958990779784653843">kylin-1.5.2</a></li> <li>Git Commit: <a href="/misc/goto?guid=4958990779882964028">af2646b72fbb6dc81699ad6661303fd612a2eebf</a></li> </ul> <p><strong>1.5.2 二进制包 for HBase 0.98/0.99</strong></p> <p>为方便使用，我们提供预打包的二进制安装包：</p> <ul> <li><a href="/misc/goto?guid=4958990779964467306">apache-kylin-1.5.2-bin.tar.gz</a></li> <li><a href="/misc/goto?guid=4958990780060324608">安装帮助</a></li> </ul> <p><strong>1.5.2 二进制包 for HBase 1.x</strong></p> <ul> <li><a href="/misc/goto?guid=4958990780143120607">apache-kylin-1.5.2-HBase1.x-bin.tar.gz</a></li> <li>Git commit <a href="/misc/goto?guid=4958990780235982942">e85b49823e3cfea027cca497e898064fbefbd449</a></li> </ul> <p><strong>1.5.2 二进制包 for CDH 5.7</strong></p> <ul> <li><a href="/misc/goto?guid=4958990780322098312">apache-kylin-1.5.2-cdh5.7-bin.tar.gz</a></li> <li>Git commit <a href="/misc/goto?guid=4958990780421712963">e0fbb3417063fe33b99e82724e19e107787b2e62</a></li> </ul> <p><strong>构建二进制包</strong><br /> 可以从各个版本或当前最新的开发分支中生成二进制包，请参考这篇<a href="/misc/goto?guid=4958990780510737249">帮助文档</a></p> <p><strong>以前的版本</strong><br /> Apache Kylin的旧版本可以从<a href="/misc/goto?guid=4958990780604429267">归档</a>中下载。</p> <p><strong>ODBC 驱动</strong> <br /> Kylin ODBC 驱动要求首先安装<a href="/misc/goto?guid=4958975470572821943">Microsoft Visual C++ 2012 Redistributable</a>。 <br /> Kylin ODBC 驱动可以从这里下载:</p> <ul> <li><a href="/misc/goto?guid=4958990780731361617">Kylin ODBC 驱动 v1.5</a> (推荐，兼容所有Kylin版本)</li> <li><a href="/misc/goto?guid=4958990780832163940">Kylin ODBC 驱动 v1.2</a></li> </ul> <p> </p>