内部公开▲ Jdbc与hibernate对比测试及优化 1. 测试环境 数据库服务器：Xeon 1.6G x 2，8G 内存 数据库：Oracle 数据库表：资源信息表； 资源子表 表结构如下： 其中资源信息表中在NEID上创建了索引

 FindBugs、PMD和CheckStyle对比 1. 概要 工具 目的 检查项 FindBugs 检查.class 基于Bug Patterns概念，查找javabytecode（.class文件）中的潜在bug

改进，如Pig，Cascading，JAQL，OOzie，Tez，Spark等。 Apache SparkApache Spark是一个新兴的大数据处理的引擎，主要特点是提供了一个集群的分布式内存抽象，以支持需要工作集的应用。

9789 二、Spark1.5.1安装 1.下载spark1.5.1 http://spark.apache.org/downloads.html 选择spark的版本 [hado

基本概念和原则 首先，要搞清楚Spark的几个基本概念和原则，否则系统的性能调优无从谈起： 每一台host上面可以并行N个worker，每一个worker下面可以并行M个executor，ta

IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话，那么日志分析系统就是给病人诊断的医生。由于集群甚大，几百台机器都是起步价，甚至可能会有上千台、上万台机器同时协

What is Spark? Spark是一个快速和通用的引擎用于处理大规模的数据量。 快速：运行在内存中比HadoopMapReduce快100倍，运行在硬盘上比HadoopMapReduce快10倍。

本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。 先从Executor和SchedulerBackend说起。Executor是真正执行任务的进程，本身拥有若

Spark中最核心的概念为 RDD（Resilient Distributed DataSets） 中文为： 弹性分布式数据集 ，RDD为对分布式内存对象的 抽象它表示一个 被分区不可变 且能 并行操作

1. Spark简介—by 球哥 2. 大数据学习网介绍我们的网址是：bigdatastudy.cn 我们提供专业的大数据学习视频，包括Hadoop，Spark，Storm，Mahout，机器学习等。

1. Openfire+Spark 2. Openfire服务器的介绍 Openfire是用Java语言编写的，是基于XMPP协议、开源的实时协作的服务器，具有跨平台的能力。 它是实现XMPP协议的S

Spark开发指南 简介 总的来说，每一个Spark应用程序，都是由一个驱动程序组成，它运行用户的main函数，并且在一个集群上执行各种各样的并行操作。Spark提供的主要的抽象（概念）是一个弹性

Apache Spark 的设计与实现，重点关注其设计思想、运行原理、实现架构及性能调优，附带讨论与 Hadoop MapReduce 在设计与实现上的区别。不喜欢将该文档称之为“源码分析”，因为本文的

下面这些关于Spark的性能调优项，有的是来自官方的，有的是来自别的的工程师，有的则是我自己总结的。 Data Serialization，默认使用的是Java Serialization，这个程

http://www.cnblogs.com/francisYoung/p/5205420.html 要想明白spark application调度机制，需要回答一下几个问题： 1.谁来调度？ 2.为谁调度？

来自： http://www.solinx.co/archives/570 Spark执行不少操作时都依赖于 闭包函数 的调用，此时如果闭包函数使用到了外部变量驱动程序在使用行动操作时传递到集群中

在YARN 上运行 Spark 在Spark0.6.0 版本开始支持 YARN 模式，随后的版本在逐渐地完善。 在YARN 上启动 Spark 确保HADOOP_CONF_DIR或YARN_C

链接： http://spark.apache.org/docs/latest/programming-guide.html 安装好Spark 后，自带了一些demo, 路径在Spark根目录/exam

Spark可以直接对HDFS进行数据的读写，同样支持Spark on YARN。Spark可以与MapReduce运行于同集群中，共享存储资源与计算，数据仓库Shark实现上借用Hive，几乎与Hive完全兼容。

个人理解 首先， MapReduce-like 是说架构上和多数分布式计算框架类似， Spark 有分配任务的主节点（ Driver ）和执行计算的工作节点（ Worker ）