天天看点

《深入理解Spark:核心思想与源码分析》——导读

本节书摘来自华章社区《深入理解spark:核心思想与源码分析》一书中的目录,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看

《深入理解Spark:核心思想与源码分析》——导读

前言

准 备 篇

<a href="https://yq.aliyun.com/articles/107712">第1章 环境准备</a>

<a href="https://yq.aliyun.com/articles/107720">1.1 运行环境准备</a>

<a href="https://yq.aliyun.com/articles/107732">1.2 spark初体验</a>

<a href="https://yq.aliyun.com/articles/107734">1.3 阅读环境准备</a>

<a href="https://yq.aliyun.com/articles/107743">1.4 spark源码编译与调试</a>

<a href="https://yq.aliyun.com/articles/107746">1.5 小结</a>

<a href="https://yq.aliyun.com/articles/107748">第2章 spark设计理念与基本架构</a>

<a href="https://yq.aliyun.com/articles/107753">2.1 初识spark</a>

<a href="https://yq.aliyun.com/articles/107759">2.2 spark基础知识</a>

<a href="https://yq.aliyun.com/articles/107766">2.3 spark基本设计思想</a>

<a href="https://yq.aliyun.com/articles/107768">2.4 spark基本架构</a>

<a href="https://yq.aliyun.com/articles/107772">2.5 小结</a>

核心设计篇

<a href="https://yq.aliyun.com/articles/107774">第3章 sparkcontext的初始化</a>

<a href="https://yq.aliyun.com/articles/107775">3.1 sparkcontext概述</a>

<a href="https://yq.aliyun.com/articles/107790">3.2 创建执行环境sparkenv</a>

<a href="https://yq.aliyun.com/articles/107791">3.3 创建metadatacleaner</a>

<a href="https://yq.aliyun.com/articles/107795">3.4 sparkui详解</a>

<a href="https://yq.aliyun.com/articles/107798">3.5 hadoop相关配置及executor环境变量</a>

<a href="https://yq.aliyun.com/articles/107805">3.6 创建任务调度器tasksched5uler</a>

<a href="https://yq.aliyun.com/articles/107809">3.7 创建和启动dagscheduler</a>

<a href="https://yq.aliyun.com/articles/107813">3.8 taskscheduler的启动</a>

<a href="https://yq.aliyun.com/articles/107833">3.9 启动测量系统metricssystem</a>

<a href="https://yq.aliyun.com/articles/107841">3.10 创建和启动executorallocation-manager</a>

<a href="https://yq.aliyun.com/articles/107845">3.11 contextcleaner的创建与启动</a>

<a href="https://yq.aliyun.com/articles/107851">3.12 spark环境更新</a>

<a href="https://yq.aliyun.com/articles/107855">3.13 创建dagschedulersource和blockmanagersource</a>

<a href="https://yq.aliyun.com/articles/107857">3.14 将sparkcontext标记为激活</a>

<a href="https://yq.aliyun.com/articles/107862">3.15 小结</a>

第4章 存储体系

第5章 任务提交与执行

第6章 计算引擎

第7章 部署模式

第8章 spark sql

第9章 流式计算

第10章 图计算

第11章 机器学习

附录a utils

附录b akka

附录c jetty

附录d metrics

附录e hadoop word count

附录f commandutils

附录g netty

附录h 源码编译错误

继续阅读