百度开源OLAP引擎Palo,高可用的MPP数据仓库
jopen 7年前
<p style="text-align: center;"><a href="/misc/goto?guid=4958995864924822568" title="百度"><img alt="百度开源OLAP引擎Palo,高可用的MPP数据仓库" src="https://simg.open-open.com/show/7abba56fc3fadb3d9ec53a10fbba04e0.jpg" /></a></p> <p>百度昨日正式开源 <a href="/misc/goto?guid=4959010302353687491">Palo</a> ,这是一个百度自研的基于 MPP 的交互式 SQL 数据仓库,主要用于解决报表和多维分析。</p> <p>Palo 主要集成了 Google Mesa 和 Cloudera Impala 技术。和其他流行的 SQL-on-Hadoop 系统不同的是,Palo 设计为单一紧密耦合系统,不依赖其他系统。</p> <p>Palo 不仅提供高并发低延迟的查询性能,而且提供了高吞吐量的 ad-hoc 分析查询。它还提供批量数据加载,以及近乎实时的小批量数据加载。</p> <p>Palo 具有高可用性、可靠性、容错性和可扩展性,其主要特点是简单(开发、部署和使用)和满足单一系统中的许多数据服务需求。</p> <p>Palo 的实现包括两个守护进程:前端(FE)和后端(BE)。下图给出了架构和用法的概述:</p> <p style="text-align:center"><img alt="百度开源OLAP引擎Palo,高可用的MPP数据仓库" src="//images2017.cnblogs.com/news/66372/201708/66372-20170812174140913-951586504.jpg" /></p> <p style="text-align:center"><img alt="百度开源OLAP引擎Palo,高可用的MPP数据仓库" src="//images2017.cnblogs.com/news/66372/201708/66372-20170812174140851-1062797203.jpg" /></p> <p>Palo 的名字正好是 OLAP 倒过来写,意思是“玩转 OLAP ”,目前在百度内部有着广泛应用,如百度凤巢、百度统计、百度糯米等。</p>