Windows下安装Spark
- 一、Spark安装前提
- 1.1、JDK安装(version:1.8)
- 1.1.1、JDK官网下载
- 1.1.2、JDK网盘下载
- 1.1.3、JDK安装
- 1.2、Scala安装(version:2.11.12)
- 1.2.1、Scala官网下载
- 1.2.2、Scala网盘下载
- 1.2.3、Scala安装
- 1.2.4、验证Scala是否安装成功
- 1.3、Hadoop安装(version:2.7.2)
- 二、安装Spark(version:2.4.7)
- 1.1.1、Spark官网下载
- 1.1.2、Spark网盘下载
- 1.1.3、Spark安装
- 1.2.4、验证Spark是否安装成功
一、Spark安装前提
安装Spark之前,需要安装JDK、Hadoop、Scala。
本次安装版本选择:
JDK:1.8
Hadoop:2.7.2
Scala:2.11.12
Spark:2.4.7
1.1、JDK安装(version:1.8)
1.1.1、JDK官网下载
官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
1.1.2、JDK网盘下载
或者网盘下载:https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds
1.1.3、JDK安装
安装方法就不赘述了。
1.2、Scala安装(version:2.11.12)
1.2.1、Scala官网下载
官网下载地址:https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.msi
1.2.2、Scala网盘下载
网盘下载地址:https://pan.baidu.com/s/1Qiy1aEndKn_Xs-zSSLaWIA?pwd=yyds
1.2.3、Scala安装
本地点击msi文件安装,安装目录为 D:\bigdata\scala\2.11.12\
设置环境变量 %SCALA_HOME%
环境变量Path添加条目%SCALA_HOME%\bin
1.2.4、验证Scala是否安装成功
为了验证Scala是否安装成功,开启一个新的cmd窗口。
输入:Scala
可以看到Scala安装成功。
1.3、Hadoop安装(version:2.7.2)
参考博文:Windows下安装Hadoop(手把手包成功安装)
二、安装Spark(version:2.4.7)
1.1.1、Spark官网下载
官网下载地址:https://archive.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz
1.1.2、Spark网盘下载
网盘下载地址:https://pan.baidu.com/s/1VyVLwnSvdMzSocj37xlErQ?pwd=yyds
1.1.3、Spark安装
本地解压spark文件,目录为 D:\bigdata\spark\2.4.7\
设置环境变量 %SPARK_HOME%
环境变量Path添加条目%SPARK_HOME%\bin
跟上面配置环境变量一样的配置方法。
1.2.4、验证Spark是否安装成功
为了验证Spark是否安装成功,开启一个新的cmd窗口。
输入:spark-shell
显示上面的正常运行界面,表示本地的spark环境已搭建完成!