全书分为10章。第1章介绍Spark学习环境的搭建。第2章介绍Spark的基本知识和架构。第3章介绍Spark内核底层的基础设施。第4章介绍SparkContext的初始化。第5章介绍Spark执行环境SparkEnv。第6章介绍Spark自身的存储体系。本章不同于其他书籍将存储的各个组件视为不同内容，而是将存储体系的内容凝聚起来。第7章介绍Spark的调度系统。第8章介绍Spark的计算引擎。第9章介绍Spark的部署模式。第10章介绍Spark的API。Spark从表面上看与之前版本大的不同是API，所以本章拿个别API的实现作为例子，分析其源码实现，让读者理解新老API之间的异同。 耿嘉安，艺龙大数据平台架构师，前阿里巴巴高级开发工程师，11年开发经验，对Spark有深入研究，精通大数据业务、Java架构设计，擅长J2EE，有9年Java相关开发经验，关注Spark、Storm、ODPS。 目录  Contents本书赞誉前言第1章　环境准备 11.1　运行环境准备 21.1.1　安装JDK 21.1.2　安装Scala 21.1.3　安装Spark 31.2　Spark初体验 41.2.1　运行spark-shell 41.2.2　执行word count 51.2.3　剖析spark-shell 91.3　阅读环境准备 141.3.1　安装SBT 151.3.2　安装Git 151.3.3　安装Eclipse Scala IDE插件 151.4　Spark源码编译与调试 171.5　小结 23第2章　设计理念与基本架构 242.1　初识Spark 252.1.1　Hadoop MRv1的局限252.1.2　Spark的特点 262.1.3 Spark使用场景 282.2　Spark基础知识 292.3　Spark基本设计思想 312.3.1　Spark模块设计 322.3.2　Spark模型设计 342.4　Spark基本架构 362.5　小结 38第3章　Spark基础设施 393.1　Spark配置 403.1.1　系统属性中的配置 403.1.2　使用SparkConf配置的API 413.1.3　克隆SparkConf配置 423.2　Spark内置RPC框架 423.2.1　RPC配置TransportConf 453.2.2　RPC客户端工厂Transport- ClientFactory 473.2.3　RPC服务端TransportServer 533.2.4　管道初始化 563.2.5　TransportChannelHandler详解 573.2.6　服务端RpcHandler详解 633.2.7　服务端引导程序Transport-ServerBootstrap 683.2.8　客户端TransportClient详解 713.3　事件总线 783.3.1　ListenerBus的继承体系 793.3.2　SparkListenerBus详解 803.3.3　LiveListenerBus详解 833.4　度量系统 873.4.1　Source继承体系 873.4.2　Sink继承体系 893.5　小结 92第4章　SparkContext的初始化 934.1　SparkContext概述 944.2　创建Spark环境 974.3　SparkUI的实现 1004.3.1　SparkUI概述 1004.3.2　WebUI框架体系 1024.3.3　创建SparkUI 1074.4　创建心跳接收器 1114.5　创建和启动调度系统1124.6　初始化块管理器BlockManager 1144.7　启动度量系统 1144.8　创建事件日志监听器1154.9　创建和启动ExecutorAllocation-Manager 1164.10　ContextCleaner的创建与启动 1204.10.1　创建ContextCleaner 1204.10.2　启动ContextCleaner 1204.11　额外的SparkListener与启动事件总线 1224.12　Spark环境更新 1234.13　SparkContext初始化的收尾 1274.14　SparkContext提供的常用方法 1284.15　SparkContext的伴生对象1304.16　小结 131第5章　Spark执行环境 1325.1　SparkEnv概述 1335.2　安全管理器SecurityManager 1335.3　RPC环境 1355.3.1　RPC端点RpcEndpoint 13