Spark简介

文章目录

    • 一、简介
    • 二、安装
      • 1、简介
      • 2、本地部署(Local模式)
        • 2.1 安装
        • 2.2 官方WordCount实例
      • 3、Standlong模式
        • 3.1 简介
        • 2.2 安装集群
        • 2.3 官方测试案例
      • 4、Yarn模式
        • 3.1 安装
        • 3.2 配置历史服务器
        • 3.3 配置查看历史日志
      • 5、Mesos模式
      • 6、几种模式对比
      • 7、常用端口
    • 三、Yarn模式详解
      • 1、简介
      • 2、Client模式
      • 3、Cluster模式

一、简介

1）官网地址：http://spark.apache.org/

2）文档查看地址：https://spark.apache.org/docs/3.1.3/

3）下载地址：https://spark.apache.org/downloads.html

https://archive.apache.org/dist/spark/

二、安装

1、简介

部署Spark集群大体上分为两种模式：单机模式与集群模式
大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。
下面详细列举了Spark目前支持的部署模式。

  • Local模式：在本地部署单个Spark服务
  • Standalone模式：Spark自带的任务调度模式。（国内常用）
  • YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内最常用）
  • Mesos模式：Spark使用Mesos平台进行资源与任务的调度。（国内很少用）

2、本地部署(Local模式)

2.1 安装

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

wget https://gitcode.net/weixin_44624117/software/-/raw/master/software/Linux/Spark/spark-3.4.1-bin-hadoop3.tgz

创建文件夹

mkdir /opt/module

解压文件

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

更改文件名

mv /opt/module/spark-3.4.1-bin-hadoop3/ /opt/module/spark-local

官方求PI案例

cd /opt/module/spark-localbin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

参数解析：

  • --class：表示要执行程序的主类；
  • --master local[2]：

​ （1）local: 没有指定线程数，则所有计算都运行在一个线程当中，没有任何并行计算

​ （2）local[K]:指定使用K个Core来运行计算，比如local[2]就是运行2个Core来执行。

​ （3）local[*]：默认模式。自动帮你按照CPU最多核来设置线程数。比如CPU有8核，Spark帮你自动设置8个线程计算。

  • spark-examples_2.12-3.1.3.jar：要运行的程序；
  • 10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）；

该算法是利用蒙特·卡罗算法求PI

在这里插入图片描述

2.2 官方WordCount实例

在这里插入图片描述

准备数据

mkdir input

输入以下内容

hello atguigu
hello spark

启动Spark-shell

bin/spark-shell

执行任务

scala> sc.textFile("/opt/module/spark-local/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res6: Array[(String, Int)] = Array((hello,2), (atguigu,1), (spark,1))

在这里插入图片描述

查看执行结果：

连接窗口，发现了一个SparkSubmit进程

在这里插入图片描述

spark-shell窗口关闭掉，则hadoop102:4040页面关闭。

在这里插入图片描述

3、Standlong模式

3.1 简介

Standalone模式是Spark自带的资源调度引擎，构建一个由Master + Worker构成的Spark集群，Spark运行在集群中。

这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助Hadoop的Yarn和Mesos等其他框架。

Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式(Standalone)下正常运行必须要有的后台常驻进程。

在这里插入图片描述

  • Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序。Standalone模式是Spark自带的资源调度引擎，构建一个由Master + Worker构成的Spark集群，Spark运行在集群中。
  • 这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群，不需要借助Hadoop的Yarn和Mesos等其他框架。

在这里插入图片描述

2.2 安装集群
Hadoop101Hadoop102Hadoop103
SparkMasterWorkerWorkerWorker

解压文件

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

重命名文件夹

mv /opt/module/spark-3.4.1-bin-hadoop3 /opt/module/spark-standalone

添加Worker节点

cd /opt/module/spark-standalone/conf/
vim slaves

hadoop101
hadoop102
hadoop103

添加Master节点

mv spark-env.sh.template spark-env.sh
vim spark-env.sh

SPARK_MASTER_HOST=hadoop101
SPARK_MASTER_PORT=7077

在这里插入图片描述

cd /opt/module/spark-standalone
sbin/start-all.sh

在这里插入图片描述

查看页面：http://hadoop101:8080

  • 8080：master的webUI

  • 4040：application的webUI的端口号

在这里插入图片描述

2.3 官方测试案例
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop101:7077 \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

执行结果：

在这里插入图片描述

在这里插入图片描述

8080：master的webUI

4040：application的webUI的端口号

在这里插入图片描述

执行参数

./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077 \--executor-memory 2G \--total-executor-cores 2 \./examples/jars/spark-examples_2.12-3.4.1.jar \
10

参数解析

  • --executor-memory：可用内存为2G。
  • --total-executor-cores：使用CPU核数为2个。

在这里插入图片描述

参数解释可选值举例
–classSpark程序中包含主函数的类
–masterSpark程序运行的模式本地模式：local[*]、spark://hadoop102:7077、Yarn
–executor-memory 1G指定每个executor可用内存为1G符合集群内存配置即可，具体情况具体分析。
–total-executor-cores 2指定所有executor使用的cpu核数为2个
application-jar打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar
application-arguments传给main()方法的参数

4、Yarn模式

  • Spark客户端直接连接Yarn，不需要额外构建Spark集群。
  • 一台能提交Yarn的服务器即可
3.1 安装

获取文件

wget https://gitcode.net/weixin_44624117/software/-/raw/master/software/Linux/Spark/spark-3.4.1-bin-hadoop3.tgz

加压安装包

tar -zxvf spark-3.4.1-bin-hadoop3.tgz -C /opt/module/

修改目录名称

mv /opt/module/spark-3.4.1-bin-hadoop3 /opt/module/spark-yarn

修改启动文件

mv /opt/module/spark-yarn/conf/spark-env.sh.template /opt/module/spark-yarn/conf/spark-env.sh

添加配置文件

vim /opt/module/spark-yarn/conf/spark-env.sh
#	增加配置内容(Yarn配置文件地址)
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

提交任务

参数：--master yarn：表示Yarn方式运行；–deploy-mode表示客户端方式运行程序

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

3.2 配置历史服务器

移动配置文件

mv /opt/module/spark-yarn/conf/spark-defaults.conf.template /opt/module/spark-yarn/conf/spark-defaults.conf

修改配置文件

cd /opt/module/spark-yarn/conf
vim spark-defaults.conf

spark.eventLog.enabled        true
spark.eventLog.dir            hdfs://hadoop101:8020/directory

在这里插入图片描述

修改配置文件spark-env.sh

vim spark-env.sh

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop101:8020/directory 
-Dspark.history.retainedApplications=30"

配置文件解析：

  • Dspark.history.ui.port=18080 ：WEBUI访问的端口号为18080
  • -Dspark.history.fs.logDirectory：指定历史服务器日志存储路径（读）
  • -Dspark.history.retainedApplications：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

:wq：

3.3 配置查看历史日志

为了能从Yarn上关联到Spark历史服务器，需要配置spark历史服务器关联路径。

目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。

修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf

vim /opt/module/spark-yarn/conf/spark-defaults.conf

spark.yarn.historyServer.address=hadoop101:18080
spark.history.ui.port=18080

启动历史服务器

cd /opt/module/spark-yarn
sbin/start-history-server.sh

再次提交任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

页面查看历史任务：http://hadoop102:8088/cluster

在这里插入图片描述

在这里插入图片描述

5、Mesos模式

Spark客户端直接连接Mesos；不需要额外构建Spark集群。国内应用比较少，更多的是运用Yarn调度。

6、几种模式对比

模式Spark安装机器数需启动的进程所属者
Local1无Spark
Standalone3Master及WorkerSpark
Yarn1Yarn及HDFSHadoop

7、常用端口

  • 4040：Spark查看当前Spark-shell运行任务情况端口号：4040
  • 7077：Spark Master内部通信服务端口号：7077 （类比于yarn的8032(RM和NM的内部通信)端口）
  • 8080：Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088） (yarn模式) 8989
  • 18080：Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）

三、Yarn模式详解

1、简介

Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。

yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster，适用于生产环境。

2、Client模式

  • client模式启动
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

3、Cluster模式

在这里插入图片描述

  • cluster模式启动
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.4.1.jar \
10

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/166864.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Leetcode—1726.同积元组【中等】

Leetcode—1726.同积元组【中等】

2023每日刷题&#xff08;六&#xff09; Leetcode—1726.同积元组 哈希表解题思路 实现代码 class Solution { public:int tupleSameProduct(vector<int>& nums) {unordered_map<int, int>count;int n nums.size();int i, j;for(i 0; i < n - 1; i) {f…
阅读更多...
拓扑几何学

拓扑几何学

目录 一&#xff0c;欧拉定理 1&#xff0c;平面图论图 2&#xff0c;单连通多面体 3&#xff0c;一般多面体 一&#xff0c;欧拉定理 1&#xff0c;平面图论图 在一个联通无向图中&#xff0c;点数-边数面数 1 如&#xff1a; 7-126 1 如果把最外面的五边形外面也算…
阅读更多...
机器学习终极指南：统计和统计建模03/3 — 第 -3 部分

机器学习终极指南：统计和统计建模03/3 — 第 -3 部分

系列上文&#xff1a;机器学习终极指南&#xff1a;特征工程&#xff08;02/2&#xff09; — 第 -2 部分 一、说明 在终极机器学习指南的第三部分中&#xff0c;我们将了解统计建模的基础知识以及如何在 Python 中实现它们&#xff0c;Python 是一种广泛用于数据分析和科学计…
阅读更多...
大数据分析实践 | pandas数据质量分析

大数据分析实践 | pandas数据质量分析

文章目录 &#x1f4da;数据质量评估的五个维度&#x1f4da;口袋妖怪数据质量分析&#x1f407;导入库和数据&#x1f407;检查数据&#x1f407;缺失值分析&#x1f407;重复值检测&#x1f407;异常值检测 &#x1f4da;数据质量评估的五个维度 Coherent: without semantic …
阅读更多...
【刷题篇】反转链表

【刷题篇】反转链表

文章目录 一、206.反转链表二、92.反转链表 ||三、25. K 个一组翻转链表 一、206.反转链表 class Solution { public://使用头插//三个指针也可以ListNode* reverseList(ListNode* head) {if(headnullptr)return nullptr;ListNode* curhead;ListNode* newheadnew ListNode(0);L…
阅读更多...
VR智能家居虚拟连接仿真培训系统重塑传统家居行业

VR智能家居虚拟连接仿真培训系统重塑传统家居行业

家居行业基于对场景的打造及设计&#xff0c;拥有广阔前景&#xff0c;是众多行业里面成为最有可能进行元宇宙落地的应用场景之一。 家居行业十分注重场景的打造及设计&#xff0c;而元宇宙恰恰能通过将人工智能、虚拟现实、大数据、物联网等技术融合提升&#xff0c;带来身临其…
阅读更多...
国产开发板上打造开源ThingsBoard工业网关--基于米尔芯驰MYD-JD9X开发板

国产开发板上打造开源ThingsBoard工业网关--基于米尔芯驰MYD-JD9X开发板

本篇测评由面包板论坛的优秀测评者“JerryZhen”提供。 本文将介绍基于米尔电子MYD-JD9X开发板打造成开源的Thingsboard网关。 Thingsboard网关是一个开源的软件网关&#xff0c;采用python作为开发语言&#xff0c;可以部署在任何支持 python 运行环境的主机上&#xff0c;灵…
阅读更多...
Linux 救援模式

Linux 救援模式

Linux突然坏了 第三次坏了 第一次是找不到盘&#xff0c;修复好了 第二次是找不到卷&#xff0c;但是能启动&#xff0c;启动界面选择救援模式&#xff0c;可以正常使用 第三次&#xff0c;尝试修复卷&#xff0c;启动后&#xff0c;找不到文件系统了&#xff0c;只能从光盘…
阅读更多...
使用 Visual Studio Code (VS Code) 作为 Visual C++ 6.0 (VC6) 的编辑器

使用 Visual Studio Code (VS Code) 作为 Visual C++ 6.0 (VC6) 的编辑器

使用 Visual Studio Code (VS Code) 作为 Visual C 6.0 (VC6) 的编辑器 由于一些众所周知的原因&#xff0c;我们不得不使用经典&#xff08;过时&#xff09;的比我们年龄还大的已有 25 年历史的 VC 6.0 来学习 C 语言。而对于现在来说&#xff0c;这个经典的 IDE 过于简陋&a…
阅读更多...
在PS中轻松实现肖像磨皮，感受Imagenomic Portraiture 4的强大

在PS中轻松实现肖像磨皮，感受Imagenomic Portraiture 4的强大

每个人都希望自己的肖像照片看起来漂亮、清晰并且光滑。然而&#xff0c;在处理肖像照片时&#xff0c;要达到这些效果通常需要花费大量时间和精力。如果您正在寻找一种简单快捷的方法来优化您的肖像照片&#xff0c;那么Imagenomic Portraiture 4插件将是您的理想选择。 Imag…
阅读更多...
靶机 DC_1

靶机 DC_1

DC_1 信息搜集 存活检测 详细扫描 网页目录扫描 网页信息搜集 cms 为 Drupal 漏洞利用 使用 msf 搜索 drupal 的漏洞 启动 msfconsole搜索 search drupal尝试编号为 0 的漏洞 失败 利用编号为 1 的漏洞 use 1查看需要配置的选项 show options设置目标 ip set rhost 10…
阅读更多...
B/S医院手术麻醉临床系统：围术期的认识

B/S医院手术麻醉临床系统：围术期的认识

手术是治疗很多疾病最有效而且绕不开的措施。而从医生和患者确定了要进行手术治疗的时候&#xff0c;医院相关人员就会开始围着患者团团转&#xff0c;在术前、术中和术后&#xff0c;医生会告诉患者很多事情&#xff0c;患者也会了解很多就诊相关知识。 一、围术期的认识 围术…
阅读更多...
通讯录和内存动态管理

通讯录和内存动态管理

目录 (通讯录)动态增长版 实现效果 找单身狗 题目 源码 思路 三个内存函数的模拟实现 模拟实现strncpy 模拟实现strncat 模拟实现atoi (通讯录)动态增长版 该版本通讯录在原版的基础上增加了检查容量函数&#xff0c;实现了通讯录的动态…
阅读更多...
MAC如何在根目录创建文件

MAC如何在根目录创建文件

在这之前先明确一下啥是根目录。 打开终端&#xff0c;输入cd /&#xff0c;然后输入 ls 查看根目录下有哪些文件 可以看到 usr、etc、opt 这些文件的地方才叫根目录&#xff0c;而不是以用户命名&#xff0c;可以看到音乐、应用程序、影片、桌面的地方哈 介绍一种叫做软连接…
阅读更多...
Axi_Lite接口的IP核与地址与缓冲与AxiGP0

Axi_Lite接口的IP核与地址与缓冲与AxiGP0

AXI Interconnect互连内核将一个或多个 AXI 内存映射主设备连接到一个或多个内存映射从设备。 AXI_GP 接口 AXI_GP 接口是直接连接主机互联和从机互联的端口的。 AXI_HP 接口具有一个 1kB 的数据 FIFO 来做缓冲 [4]&#xff0c;但是 AXI_GP 接口与它不同&#xff0c;没…
阅读更多...
使用c++实现简易线程池

使用c++实现简易线程池

线程池其实就是一堆处理任务的线程和 一个任务队列 &#xff0c;处理线程不断地从这个任务队列中拿出任务进行处理。 不过需要注意的是 对于这个任务队列需要保证线程安全 一个简易的线程池需要 1&#xff0c;一个向任务队列中添加任务的接口 2&#xff0c;一个从任务队列中取…
阅读更多...
Hexo搭建个人博客系列之环境准备

Hexo搭建个人博客系列之环境准备

环境准备 Git Git官网&#xff0c;安装过程,就是一直下一步,详细的看这篇文章 Git的安装 Node.js Node.js官网 Node.js的安装 注册一个GitHub账号 安装hexo 新建一个文件夹(位置任意),运行cmd(若出现了operation not permitted,就以管理员的权限来运行cmd)&#xff0c;运行…
阅读更多...
【前端vue面试】vue2

【前端vue面试】vue2

目录 computed和watchv-show和v-ifkey 的重要性v-for 和 v-if 不能一起使用&#xff01;click的event修饰符事件修饰符表单项修饰符 父子组件通讯生命周期父子组件生命周期顺序 $nextTickslot 插槽动态组件异步组件keep-alivemixin computed和watch computed 有缓存&#xff0…
阅读更多...
飞书-多维文档-计算时间差

飞书-多维文档-计算时间差

1. 选择字段类型 如图所示&#xff0c;字段类型选择 公式 2. 编辑公式 单击 公式编辑器 在弹出的公式编辑框中输入公式 TEXT([终结时间]-[开始时间],"HH:MM") [终结时间] 和 [开始时间] 请替换成你的表格中对应的字段名称HH:MM 表示输出的时间格式为 时:分其中 “…
阅读更多...
SpringAMQP

SpringAMQP

SpringAMQT RabbitMQ安装与部署RabbitMQ结构简单队列模型 SpringAMQP依赖引入配置RabbitMQ连接信息基本模型简单队列模型WorkQueue模型 发布订阅模型FanoutExchangeDirectExchangeTopicExchange 消息转换器 消息队列是实现异步通讯的一种方式&#xff0c;我们将从RabbitMQ为例开…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023