如何让你的 Spark SQL 查询加速数十倍？

   <p>先来回答标题所提的问题，这里的答案是列存储，下面对列存储及在列存储加速 Spark SQL 查询速度进行介绍</p>    <h2><strong>列存储</strong></h2>    <h3><strong>什么是列存储</strong></h3>    <p>传统的数据库通常以行单位做数据存储，而列式存储（后文均以列存储简称）以列为单位做数据存储，如下：</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/af57b79358d2808b2a8fb91c63ff5b76.png"></p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/29e138a436e9820f7cde60a81c04aaea.png"></p>    <h3><strong>优势</strong></h3>    <p>列存储相比于行存储主要有以下几个优势：</p>    <ul>     <li>数据即索引，查询是可以跳过不符合条件的数据，只读取需要的数据，降低 IO 数据量（行存储没有索引查询时造成大量 IO，建立索引和物化视图代价较大）</li>     <li>只读取需要的列，进一步降低 IO 数据量，加速扫描性能（行存储会扫描所有列）</li>     <li>由于同一列的数据类型是一样的，可以使用高效的压缩编码来节约存储空间</li>    </ul>    <p>当然列存储并不是在所有场景都强于行存储，当查询要读取多个列时，行存储一次就能读取多列，而列存储需要读取多次。Spark 原始支持 parquet 和 orc 两个列存储，下文的实践使用 parquet</p>    <h2><strong>使用 Parquet 加速 Spark SQL 查询</strong></h2>    <p>在我的实践中，使用的 Spark 版本是 2.0.0，测试数据集包含1.18亿条数据，44G，每条数据共有17个字段，假设字段名是 f1,f2...f17。</p>    <p>使用 Parquet 格式的列存储主要带来三个好处</p>    <p>大大节省存储空间</p>    <p>使用行存储占用 44G，将行存储转成 parquet 后仅占用 5.6G，节省了 87.2% 空间，使用 Spark 将数据转成列存储耗时4分钟左右（该值与使用资源相关）</p>    <h3><strong>只读取指定行</strong></h3>    <p>Sql: select count(distinct f1) from tbInRow/tbInParquet</p>    <p>行存储耗时: 119.7s</p>    <p>列存储耗时: 3.4s</p>    <p>加速 35 倍</p>    <h3><strong>跳过不符合条件数据</strong></h3>    <p>Sql: select count(f1) from tbInRow/tbInParquet where f1 > 10000</p>    <p>行存储耗时: 102.8s</p>    <p>列存储耗时: 1.3s</p>    <p>加速 78 倍</p>    <p>当然，上文也提到了，列存储在查询需要读取多列时并不占优势：</p>    <p>Sql: select f1, f2, f3...f17 from tbInRow/tbInParquet limit 1</p>    <p>行存储耗时: 1.7s</p>    <p>列存储耗时: 1.9s</p>    <p>列存储带来的加速会因为不同的数据，不同的查询，不同的资源情况而不同，也许在你的实践中加速效果可能不如或比我这里例子的更好，这需要我们根据列存储的特性来善用之</p>    <h2><strong>参考</strong></h2>    <ul>     <li><a href="/misc/goto?guid=4959641508041611916" rel="nofollow,noindex">http://www.infoq.com/cn/articles/in-depth-analysis-of-parquet-column-storage-format</a></li>     <li><a href="/misc/goto?guid=4959716806851784405" rel="nofollow,noindex">http://chattool.sinaapp.com/?p=1234</a></li>    </ul>    <p> </p>    <p>来自：http://www.jianshu.com/p/d045a14930cb</p>    <p> </p>