Spark分布式HA环境安装
图-12 高可用模式原理
因为在目前情况下，集群中只有一个Master，如果master挂掉，便无法对外提供新的服务，显然有单点故障问题，解决方法就是master的ha。
有两种方式解决单点故障，一种基于文件系统FileSystem(生产中不用)，还有一种基于Zookeeper(使用)。
配置基于Zookeeper的一个ha是非常简单的，只需要在spark-env.sh中添加一句话即可。
修改配置文件
注释掉如下内容：
#SPARK_MASTER_HOST=hadoop101SPARK_MASTER_PORT=7077添加上如下内容：配置的时候保证下面语句在一行，否则配置不成功，每个-D参数使用空格分开
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=hadoop101:2181,hadoop102:2181,hadoop103:2181-Dspark.deploy.zookeeper.dir=/spark"spark.deploy.recoveryMode设置成 ZOOKEEPER。spark.deploy.zookeeper.urlZooKeeper URL。spark.deploy.zookeeper.dir ZooKeeper 保存恢复状态的目录，缺省为/spark。因为ha不确定master在hadoop101上面启动，所以将export SPARK_MASTER_HOST=hadoop101注释掉。
最后别忘了，同步spark-env.sh到其它机器。
scp -r spark-env.sh hadoop102:$PWDscp -r spark-env.sh hadoop103:$PWD启动并体验
：wq
图-13 hadoop101的master状态图
hadoop102也启动master，其状态如图-14：
图-14 hadoop102的master状态图
提交任务&执行程序：
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077,hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.5.0.jar \
100
ha验证，要干掉alive的master，观察standby的master,hadoop102的状态缓慢的有standby转变为alive。
图-15 ha切换之后的master状态图
动态增删节点
1)上线：不需要在现有集群的配置上做任何修改，只需要准备一台worker机器即可，可和之前的worker的配置相同。
图-16 spark集群启动slave配置图
sbin/start-slave.sh hadoop101:7077 -c 4 -m 1024M
2)下线：杀掉对应slave进程，或者执行脚本stop-slave.sh。
图-17 动态下线
Spark分布式Yarn环境安装
修改hadoop配置文件
vim yarn-site.xml<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true --><property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property><!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true --><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property>修改spark配置文件
vim spark-env.shYARN_CONF_DIR=/opt/module/hadoop-3.2.4/etc/hadoopHADOOP_CONF_DIR=/opt/module/hadoop-3.2.4/etc/hadoop启动并体验
1）client模式：bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode client \./examples/jars/spark-examples_2.12-3.5.0.jar \100注意：在提交任务之前需启动HDFS以及YARN集群。2）cluster模式：bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cluster \./examples/jars/spark-examples_2.12-3.5.0.jar \100
