1.Spark程序中的相关端口
4040：是一个运行的Application在运行的过程中临时绑定的端口，用以查看当前任务的状态。4040被占用会顺延到4041，4042等。4040是一个临时端口，当前程序运行完成后，4040就会被注销。
4040和Driver相关联，一个Driver启动起来，一个4040端口就被绑定起来，并可以查看该程序的运行状态。
8080：默认情况是StandAlone下，Master角色（进程）的WEB端口，用以查看当前Master（集群）的状态。（Driver和Master是两个东西，Master进程用于管理集群，Driver用于管理某次运行的程序，某个Driver程序运行完成，其所绑定的4040端口释放，但不会影响到Master进程）
18080：默认是历史服务器的端口，由于每个程序运行完成后，4040端口就要被注销，在以后想回看某个程序的运行状态就可以通过历史服务器查看，历史服务器长期稳定运行，可供随时查看记录的程序的运行过程。
2.Spark程序运行的层次结构
在Spark程序中，一个Driver程序运行，会分为多个Job程序来执行；在一个Job程序中又可以分为多个阶段来执行；一个阶段又可以分为多个Task来执行（可以理解为多个线程并行执行）。
打扫学校举例eg：
3.StandAlone阶段小总结
StandAlone原理？
Master和Worker角色以独立进程的形式存在，并且它们之间相互通讯，组成Spark运行时环境（集群）
Spark角色在StandAlone中的分布？
Master角色：Master进程；Worker角色：Worker进程；Driver角色：以线程运行在Master进程中；Executor角色：以线程运行在Worker中。
StandAlone如何提交Spark应用？
bin/spark-submit -- master spark://server:7077
4040\8080\18080分别是什么？
4040是单个程序运行的时候绑定的端口可供查看本任务运行情况。
8080是Master进程运行时默认的WEB ui端口，Master是独立的进程，不和Worker也不和Driver绑定，所以Driver运行完不会影响Master进程的运行，Driver关闭不影响Master进程。
18080是历史服务器的端口，可以供我们查看历史运行的程序（Driver）的运行状态。
Job\State\Task的关系？
一个Spark程序会被分为多个子任务（Job）运行，每一个Job会被分为多个State（阶段）来运行，每一个State（阶段）内会被分为多个Task（线程）来执行具体的任务。
4.Spark StandAlone HA集群模式（其实就是高可用的StandAlone模式，引入了zookeeper来做主节点切换/“灾备”/“主备切换”）
Spark StandAlone集群是Master-Slaves架构的集群模式，和大部分主从结构集群一样会存在主节点故障的问题。
由于上述StandAlone集群模式存在的问题，引出了高可用HA
提出了基于zookeeper的Standby Master架构模式：zookeeper提供了一个Leader Election机制，利用这个机制可以保证虽然集群存在多个Master，但是只有一个Active的，其他都是Standby。当Active的Master出现故障时，另外Standby Master会被选举出来。由于集群的信息，包括Master，Driver和Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新Job的提交，对于正在进行的Job没有任何影响。加入zookeeper的集群架构如下图所示：
5.StandAlone HA的搭建
搭建很简单，就是在StandAlone集群模式的配置文件中修改一两个配置项就好了。
6.StandAlone HA的原理
基于zookeeper做状态的维护，开启多个Master进程，一个作为活跃Master，其他的作为备份，当活跃进程宕机了，备份的Master来接管。
7.Spark on YARN（重点）
出现背景：按照前面所述，如果我们想要一个稳定的用于生产的Spark环境，那么最优秀的选择是构建HA StandAlone集群。但是，在企业中服务器资源通常有限，不过许多企业基本上都有Hadoop集群，也就是会有YARN集群。因此，对于企业来说，在已有YARN集群的前提下单独的搭建Spark StandAlone集群，对资源的利用率不高，所以，在企业中，多数场景下，会将Spark运行到YARN集群中。
YARN本身是一个资源调度框架，负责对运行在内部的计算框架进行资源调度管理。
作为典型的计算框架，Spark本身也是直接运行在YARN中，并接受YARN调度的。
所以，对于Spark on YARN，无需部署Spark集群，只要找一台服务器，从当Spark的客户端，即可提交任务到YARN集群中运行。（部署的时候，无需前面所述：在每一台服务器上安装Spark，然后启动Master，启动Worker，以及zookeeper什么的。。。，只需要在已有的YARN集群的基础上，找到一台服务器，充当Spark的客户端就可以了）
8.Spark on YARN的本质
Master角色由YARN的ResourceManager来担任。
Worker角色由YARN的NodeManager来担任。
Driver角色运行在YARN容器内 或者 提交任务的客户端进程中。
真正干活的Executor运行在YARN提供的容器内。
Spark on YARN集群架构图示：
9.Spark on YARN只需要注意配置好两个环境变量，HADOOP_CONF_DIR和YARN_CONF_DIR就好了。Spark会根据这两个环境变量的值自行的去找诸如ResourceManager这些东西。
10.Spark on YARN个人认为就是借助已有的YARN集群平台，来做Spark集群分布式计算操作（把计算任务提交到YARN集群中，以Spark的模式去运行），目的就是节约服务器资源
11.Spark on YARN的两种运行模式（两种模式的区别就是Driver运行的位置）
一种是Cluster模式：Driver运行在YARN容器内部，和ApplicationMaster在同一个容器内
一种是Client模式：Driver运行在客户端进程中，比如Driver运行在Spark-submit程序的进程中
集群（Cluster）模式的优点：各NodeManager和Driver之间的通信成本低，效率高；缺点：不方便查看日志，因为Driver运行在某个容器当中，日志会输出到某个容器当中，因此在查看日志这个方面，客户端（Client）模式具有优势，不过客户端的通信性能当然就没有集群模式高了。
对比图：
两种模式对比总结：
12.Spark on YARN两种模式的流程
客户端模式流程：
集群模式流程：
13.Spark on YARN小总结
Spark on YARN本质？
Master由ResourceManager代替
Worker由NodeManager代替
Driver可以运行容器内（Cluster模式）或者客户端进程中（Client模式）
Executor全部运行在YARN提供的容器内
为什么要用spark on YARN？
提高资源利用率，在已有YARN的场景下让Spark收到YARN的调度可以更好地管控资源提高利用率并方便管理。
14.类库和框架
类库：一堆别人写好的代码，你可以导入使用。
框架：可以独立运行，并提供编程结构的一种软件产品，Spark就是一个独立的框架。
15.PySpark
前面使用的bin/pyspark程序，注意这是一个应用程序，提供一个python解释器执行环境来运行spark任务
而PySpark，指的是Python的运行类库，就是可以在python代码中：import pyspark; 这种操作
概念：PySpark是Spark官方提供的一个Python类库，内置了完全的Spark API，可以通过PySpark类库来编写Spark应用程序，并将其提交到Spark集群中运行。
