解密Airbnb数据流编程神器：Caravel 颠覆许多大数据分析平台的开源工具
NonaWXF
8年前
<p><img src="https://simg.open-open.com/show/6826f217b08102f57406b44a3cd9ed2a.jpg"></p> <h3>概述</h3> <p>我非常认同前百度数据工程师、现 <strong> <em>神策分析</em> </strong> 创始人桑老师最近谈到的数据分析三重境界：</p> <ol> <li> <p>统计计数</p> </li> <li> <p>多维分析</p> </li> <li> <p>机器学习</p> </li> </ol> <p>数据分析的统计计数和多维分析，我们通常称之为数据探索式分析，这个步骤旨在了解数据的特性，有助于我们进一步挖掘数据的价值。而基于我们对数据的理解，再引入机器学习的算法对数据做出预测就变得水到渠成了。</p> <p>现实世界里，大部分的公司更多时间其实没有这个精力去搭建复杂的数据分析平台，面对快速变化的业务需求，很多数据工程师都把自己的青春埋葬在SQL里了。（其实我也是埋葬在SQL里的）</p> <p>这几年，所谓的无埋点技术、自助式分析等等概念开始兴起，得益于数据领域的快速发展，国内外也涌现了大量基于数据分析平台的start-ups，而随着技术的发展，许多创业公司也是抱团取暖组成一个更大的团体。</p> <p>考虑到国内数据安全性的问题，即使我们使用大厂比如百度的网站分析服务也很难保证数据安全性，私有化部署才是很多企业级解决方案的王道。</p> <p>随着 Caravel 被Airbnb的数据科学部门开源了，我看到的是有许多数据分析平台的创业公司或许要转变方向了，自助式分析将不再依赖于各大厂商！</p> <h3>什么是Caravel</h3> <p>Caravel的中文翻译是快船，而Caravel其实是一个自助式数据分析工具，它的主要目标是简化我们的数据探索分析操作，它的强大之处在于整个过程一气呵成，几乎不用片刻的等待。</p> <h3>Caravel 的特性</h3> <p>Caravel通过让用户创建并且分享仪表盘的方式为数据分析人员提供一个快速的数据可视化功能。</p> <p>在你用这种丰富的数据可视化方案来分析你的数据的同时，Caravel还可以兼顾数据格式的拓展性、数据模型的高粒度保证、快速的复杂规则查询、兼容主流鉴权模式（数据库、OpenID、LDAP、OAuth或者基于Flask AppBuilder的REMOTE_USER）</p> <p>通过一个定义字段、下拉聚合规则的简单的语法层操作就让我们可以将数据源在U上丰富地呈现。Caravel还深度整合了Druid以保证我们在操作超大、实时数据的分片和切分都能行云流水。</p> <p><img src="https://simg.open-open.com/show/1a8c4828b3b890a73fdcdb893c878602.png"></p> <h3>数据库支持</h3> <p>Caravel 是基于 Druid.io 设计的，但是又支持横向到像 SQLAlchemy 这样的常见Python ORM框架上面。</p> <h3>那Druid又是什么呢？</h3> <p><strong><em>Druid</em> </strong> 是一个基于分布式的快速列式存储，也是一个为BI设计的开源数据存储查询工具。Druid提供了一种实时数据低延迟的插入、灵活的数据探索和快速数据聚合。现有的Druid已经可以支持扩展到TB级别的事件和PB级的数据了，Druid是BI应用的最佳搭档。</p> <p>想必，你已经受够了Hive那个龟速查询，迫不及待想体验一下这种酣畅淋漓的快感了吧！</p> <h3>实战</h3> <p>既然，要行云流水，没有Docker是不行的，想要了解一下Docker可以参考之前的文章： <strong> <em>海纳百川 有容乃大：SparkR与Docker的机器学习实战</em> </strong></p> <p>这里我默认你已经具备了使用Daocloud加速Docker的知识。</p> <h3>本地跑Docker</h3> <p>下载镜像：</p> <pre> dao pull kochalex/caravel</pre> <p>跑容器</p> <pre> docker run -p 8088:8088 -d kochalex/caravel</pre> <p>查询一下你的docekr ip</p> <pre> docker-machine ls NAME ACTIVE DRIVER STATE URL SWARM DOCKER ERRORS <strong>default - virtualbox Running tcp:<em>//192.168.99.100:2376 v1.9.1 dev - virtualbox Saved Unknown </em></strong></pre> <p>这里可以看到我的默认Docker的IP是 192.168.99.100</p> <p>所以需要在浏览器中访问 192.168.99.100:8088</p> <p>这样我们又是三行代码搞定了一个大数据分析神器。</p> <p>需要注意到，这个 Caravel 容器里的默认鉴权配置是：</p> <pre> username: admin password: caravel_admin</pre> <h3>在线Demo</h3> <p>下面我提供了Caravel的一个在线Demo：</p> <p>http://52.33.104.157:8088/login/</p> <p>下面是仪表盘的交互式分析页面：</p> <p><img src="https://simg.open-open.com/show/1b8a6c8f8632a93593121e1621afa160.png"></p> <p>我们可以导出JSON、CSV文件、直接得到SQL语句甚至分享页面链接。</p> <p>下面是全球人口的一个分析仪表盘，感觉再改动一下就可以做信息图了，大数据分析也不在话下。</p> <p><img src="https://simg.open-open.com/show/ccefd97722691802e097a1246914e46e.png"></p> <p>下面是我最喜欢的sankey chart：</p> <p><img src="https://simg.open-open.com/show/121c2f0f44c5799038df826f4d9b2c92.png"></p> <h3>架构</h3> <p>看到如此惊艳的数据产品，想必你也很想自己动手做一个吧！让我们一起看看整体的架构。</p> <h3>后端</h3> <p>整个项目的后端是基于Python的，用到了Flask、Pandas、SqlAlchemy。</p> <p>此外，也关注到Caravel的缓存机制值得我们学习：</p> <h3>前端</h3> <p>自然前端是JS的天下，用到了npm、react、webpack,这意味着你可以在手机也可以流畅使用。</p> <h3>来自： http://www.thebigdata.cn/QiTa/29965.html</h3>