Spark 的介绍与搭建：从理论到实践_spark环境搭建-CSDN博客
Spark 的Standalone集群环境安装与测试-CSDN博客
PySpark 本地开发环境搭建与实践-CSDN博客
Spark 程序开发与提交：本地与集群模式全解析-CSDN博客
Spark on YARN：Spark集群模式之Yarn模式的原理、搭建与实践-CSDN博客
Spark 中 RDD 的诞生：原理、操作与分区规则-CSDN博客
Spark 中的 RDD 分区的设定规则与高阶函数、Lambda 表达式详解-CSDN博客
RDD 算子全面解析：从基础到进阶与面试要点-CSDN博客
PySpark 数据处理实战：从基础操作到案例分析-CSDN博客
目录
一、Spark 容错机制概述
1、各个软件为了防止数据丢失的解决方案
2、Spark如何保障数据的安全
二、RDD 持久化机制
（一）cache 算子
（二）persist 算子
（三）unpersist 算子
（四）示例代码分析
三、RDD 检查点机制
（一）功能与原理
（二）适用场景
四、RDD 的 cache、persist 持久化机制和 checkpoint 检查点机制的区别
五、将日志分析案例进行优化
六、总结
在大数据处理领域，Spark 作为一款强大的分布式计算框架，面临着数据丢失和性能优化的双重挑战。为了确保数据的安全性和处理效率，Spark 构建了一套完善的容错机制。本文将深入探讨 Spark 的容错机制，包括 RDD 的持久化机制（persist 和 cache 算子）以及检查点机制（checkpoint），并分析它们的特点、适用场景以及相互之间的区别。
一、Spark 容错机制概述
1、各个软件为了防止数据丢失的解决方案
操作日志：
将内存变化操作日志追加记录在一个文件中，下一次读取文件对内存重新操作
- NAMENODE：元数据的操作日志记录在edits
- MySQL：日志记录binlog ()
副本机制：将数据构建多份冗余副本
- HDFS：构建每个数据块的3个副本
依赖关系：每份数据保留与其他数据之间的一个转换关系
- RDD：保留RDD与其他RDD之间的依赖关系
2、Spark如何保障数据的安全
每个RDD在构建数据时，会根据自己来源一步步导到数据来源，然后再一步步开始构建RDD数据。
问题：如果一个RDD被触发多次，这个RDD就会按照依赖关系被构建多次，性能相对较差，怎么解决？
例如：日志分析的时候，三个问题，tupleRdd 之前的所有操作都要执行三次，每次读取100M多的数据，效率非常的低
- 第一次：一定会通过血脉构建这个RDD的数据
- 希望从第二次开始，就不要重复构建，直接使用第一个构建的内容
- 实现：Spark持久化机制：主动将RDD进行保存，供多次使用，避免重复构建
二、RDD 持久化机制
（一）cache 算子
- 功能：将 RDD 缓存在内存中，以便后续多次使用时无需重新计算。
- 语法：
cache()。 - 本质：底层实际调用的是
persist(StorageLevel.MEMORY_ONLY)，即只尝试将 RDD 缓存在内存。但如果内存资源不足，缓存操作可能会失败。 - 场景：适用于资源充足且确定 RDD 只需在内存中缓存的情况，例如对于一些频繁使用且数据量较小能够完全容纳在内存中的 RDD，可以使用 cache 算子提高数据读取速度。
（二）persist 算子
- 功能：能够将 RDD（包含其依赖关系）进行缓存，并且可以根据需求自行指定缓存的级别，这是它与 cache 算子的主要区别。
- 语法：
persist(StorageLevel)。 - 级别：
- 将 RDD 缓存在磁盘中：
StorageLevel.DISK_ONLY = StorageLevel(True, False, False, False)：将庞大且暂时不急需使用的 RDD 放入磁盘，释放 Executor 内存。StorageLevel.DISK_ONLY_2 = StorageLevel(True, False, False, False, 2)：在磁盘中多存储一个缓存副本，提高数据的冗余性和可用性。StorageLevel.DISK_ONLY_3 = StorageLevel(True, False, False, False, 3)：类似地，存储三个副本。StorageLevel.DISK_ONLY = StorageLevel(True, False, False, False) StorageLevel.DISK_ONLY_2 = StorageLevel(True, False, False, False, 2) StorageLevel.DISK_ONLY_3 = StorageLevel(True, False, False, False, 3)
- 将 RDD 缓存在内存中：
StorageLevel.MEMORY_ONLY = StorageLevel(False, True, False, False)：仅使用内存进行缓存，常用于高频使用且数据量不大能适应内存容量的 RDD。StorageLevel.MEMORY_ONLY_2 = StorageLevel(False, True, False, False, 2)：增加一个内存缓存副本。StorageLevel.MEMORY_ONLY = StorageLevel(False, True, False, False) StorageLevel.MEMORY_ONLY_2 = StorageLevel(False, True, False, False, 2)
- 将 RDD 优先缓存在内存中，如果内存不足，就缓存在磁盘中：
StorageLevel.MEMORY_AND_DISK = StorageLevel(True, True, False, False)：对于高频使用的大 RDD 较为合适，先利用内存缓存，当内存空间不足时，自动将多余数据溢出到磁盘。StorageLevel.MEMORY_AND_DISK_2 = StorageLevel(True, True, False, False, 2)：多一个缓存副本。StorageLevel.MEMORY_AND_DISK = StorageLevel(True, True, False, False) StorageLevel.MEMORY_AND_DISK_2 = StorageLevel(True, True, False, False, 2)
- 使用堆外内存：
StorageLevel.OFF_HEAP = StorageLevel(True, True, True, False, 1)：提供了除内存和磁盘之外的存储选择，可利用堆外内存资源。StorageLevel.OFF_HEAP = StorageLevel(True, True, True, False, 1) - 使用序列化：
StorageLevel.MEMORY_AND_DISK_DESER = StorageLevel(True, True, False, True)：在内存和磁盘缓存时采用序列化方式，有助于减少内存占用，但在读取时需要进行反序列化操作，会有一定性能开销。StorageLevel.MEMORY_AND_DISK_DESER = StorageLevel(True, True, False, True)
- 将 RDD 缓存在磁盘中：
- 场景：根据实际的资源状况，灵活地将 RDD 缓存在不同的存储介质中或者设置多个缓存副本，以平衡内存使用、数据读取速度和数据安全性。例如在内存和磁盘资源都较为充裕但内存使用较为紧张的情况下，可以选择
MEMORY_AND_DISK级别进行缓存，既能保证数据的快速读取，又能在内存不足时利用磁盘空间。
- 总结：Spark的StorageLevel共有9个缓存级别
DISK_ONLY：缓存入硬盘。这个级别主要是讲那些庞大的Rdd，之后仍需使用但暂时不用的，放进磁盘，腾出Executor内存。
DISK_ONLY_2：多一个缓存副本。
MEMORY_ONLY：只使用内存进行缓存。这个级别最为常用，对于马上用到的高频rdd，推荐使用。
MEMORY_ONLY_2：多一个缓存副本。
MEMORY_AND_DISK：先使用内存，多出来的溢出到磁盘，对于高频的大rdd可以使用。
MEMORY_AND_DISK_2：多一个缓存副本。
OFF_HEAP：除了内存、磁盘，还可以存储在OFF_HEAP常用的：
项目中经常使用
MEMORY_AND_DISK_2
MEMORY_AND_DISK_DESER
（三）unpersist 算子
- 功能：释放已缓存的 RDD，回收缓存占用的资源。
- 语法：
unpersist，还可以使用unpersist(blocking=True)，表示等待 RDD 释放完资源后再继续执行下一步操作。 - 场景：当确定某个 RDD 不再被使用，且后续还有大量代码需要执行时，及时调用 unpersist 算子将其数据从缓存中释放，避免资源的浪费。需要注意的是，如果不手动释放缓存，在 Spark 程序结束时，系统也会自动清理该程序中的所有缓存内存。
（四）示例代码分析
以下是一个简单的 Spark 程序示例，展示了如何使用 cache 、 persist 和 unpersist 算子：
import os
import time# 导入pyspark模块
from pyspark import SparkContext, SparkConf
from pyspark.storagelevel import StorageLevelif __name__ == '__main__':# 配置环境os.environ['JAVA_HOME'] = 'C:/Program Files/Java/jdk1.8.0_241'# 配置Hadoop的路径，就是前面解压的那个路径os.environ['HADOOP_HOME'] = 'D:/hadoop-3.3.1'# 配置base环境Python解析器的路径os.environ['PYSPARK_PYTHON'] = 'C:/ProgramData/Miniconda3/python.exe' # 配置base环境Python解析器的路径os.environ['PYSPARK_DRIVER_PYTHON'] = 'C:/ProgramData/Miniconda3/python.exe'# 获取 conf 对象# setMaster 按照什么模式运行，local bigdata01:7077 yarn# local[2] 使用2核CPU * 你本地资源有多少核就用多少核# appName 任务的名字conf = SparkConf().setMaster("local[*]").setAppName("spark的持久化机制")# 假如我想设置压缩# conf.set("spark.eventLog.compression.codec","snappy")# 根据配置文件，得到一个SC对象，第一个conf 是 形参的名字，第二个conf 是实参的名字sc = SparkContext(conf=conf)print(sc)fileRdd = sc.textFile("../resources/1.dat")# cache 是转换算子#cacheRdd = fileRdd.cache()cacheRdd = fileRdd.persist(StorageLevel.MEMORY_AND_DISK_2)print(type(cacheRdd))cacheRdd.foreach(lambda x: print(x))time.sleep(20)cacheRdd.unpersist(blocking=True)time.sleep(10)# 使用完后，记得关闭sc.stop()# unpersist(blocking=True)：等RDD释放完再继续下一步
# blocking = True：阻塞 在上述代码中，首先配置了 Spark 运行所需的环境变量，然后创建了 SparkConf 和 SparkContext 对象。通过 textFile 方法读取文本文件创建了 fileRdd，接着使用 persist 算子将其缓存到内存和磁盘，并设置了两个副本。之后对缓存的 cacheRdd 进行了遍历操作，模拟了对 RDD 的使用。在暂停 20 秒后，调用 unpersist 算子释放缓存，最后关闭 SparkContext。
三、RDD 检查点机制
（一）功能与原理
- 功能：将 RDD 的数据（不包含 RDD 依赖关系）存储在可靠的存储系统（如 HDFS）中。可以将其类比为虚拟机中的快照，作为数据处理过程中的一个重要里程碑。
- 设置与使用：
- 首先需要设置一个检查点目录，例如：
sc.setCheckpointDir("../datas/chk/chk1")。 - 然后对需要设置检查点的 RDD 调用
checkpoint()方法，如：rs_rdd.checkpoint()。需要注意的是，一定要在触发该 RDD 的算子之前调用checkpoint()方法，否则检查点中可能没有数据。
- 首先需要设置一个检查点目录，例如：
- 注意事项：启用检查点机制后，在代码执行过程中会专门多一个 job，用于将 RDD 数据持久化存储到 HDFS 中。
（二）适用场景
适用于对 RDD 数据安全性要求极高，但对性能要求相对不那么苛刻的场景。例如在一些数据处理任务中，数据的准确性和完整性至关重要，不容许因为任何故障导致数据丢失或错误，即使这可能会带来一定的性能开销，如在金融数据处理、关键业务数据分析等领域。
四、RDD 的 cache、persist 持久化机制和 checkpoint 检查点机制的区别
- 存储位置：
- persist：可以将 RDD 缓存在内存或者磁盘中，根据指定的缓存级别灵活选择存储介质。
- checkpoint：将 RDD 的数据存储在文件系统磁盘（通常是 HDFS）中，提供更可靠的持久化存储。
- 生命周期：
- persist：当代码中遇到了
unpersist算子调用或者整个 Spark 程序结束时，缓存会被自动清理，释放资源。 - checkpoint：检查点的数据不会被自动清理，需要手动删除，这使得数据在长时间内都能保持可用状态，有利于数据的长期保存和回溯。
- persist：当代码中遇到了
- 存储内容：
- persist：会保留 RDD 的血脉关系，即与其他 RDD 的依赖关系。这样在缓存丢失时，可以依据依赖关系重新构建 RDD，恢复数据。
- checkpoint：会斩断 RDD 的血脉关系，仅存储 RDD 的数据本身。这意味着一旦检查点数据可用，就不再依赖之前的 RDD 依赖链，简化了数据恢复过程，但也失去了基于依赖关系的灵活重建能力。
五、将日志分析案例进行优化
对前文的一个案例进行优化
import os
import re# 导入pyspark模块
from pyspark import SparkContext, SparkConf
import jieba
from pyspark.storagelevel import StorageLevelif __name__ == '__main__':# 配置环境os.environ['JAVA_HOME'] = 'D:/Program Files/Java/jdk1.8.0_271'# 配置Hadoop的路径，就是前面解压的那个路径os.environ['HADOOP_HOME'] = 'D:/hadoop-3.3.1/hadoop-3.3.1'# 配置base环境Python解析器的路径os.environ['PYSPARK_PYTHON'] = 'C:/ProgramData/Miniconda3/python.exe' # 配置base环境Python解析器的路径os.environ['PYSPARK_DRIVER_PYTHON'] = 'C:/ProgramData/Miniconda3/python.exe'# 获取 conf 对象# setMaster 按照什么模式运行，local bigdata01:7077 yarn# local[2] 使用2核CPU * 你本地资源有多少核就用多少核# appName 任务的名字conf = SparkConf().setMaster("local[*]").setAppName("第一个Spark程序")# 假如我想设置压缩# conf.set("spark.eventLog.compression.codec","snappy")# 根据配置文件，得到一个SC对象，第一个conf 是 形参的名字，第二个conf 是实参的名字sc = SparkContext(conf=conf)fileRdd = sc.textFile("../datas/sogou.tsv")print(fileRdd.count())print(fileRdd.first())listRdd = fileRdd.map(lambda line: re.split("\\s+", line))filterList = listRdd.filter(lambda l1: len(l1) == 6)# 这个结果只获取而来时间 uid 以及热词，热词将左右两边的[] 去掉了tupleRdd = filterList.map(lambda l1: (l1[0], l1[1], l1[2][1:-1]))# 将tupleRdd 缓存到内存中tupleRdd.cache()#tupleRdd.persist(storageLevel=StorageLevel.MEMORY_AND_DISK)# 求热词wordRdd = tupleRdd.flatMap(lambda t1: jieba.cut_for_search(t1[2]))filterRdd2 = wordRdd.filter(lambda word: len(word.strip()) != 0 and word != "的").filter(lambda word: re.fullmatch("[\u4e00-\u9fa5]+", word) is not None)# filterRdd2.foreach(print)result = filterRdd2.map(lambda word: (word, 1)).reduceByKey(lambda sum, num: sum + num).sortBy(keyfunc=lambda tup: tup[1], ascending=False).take(10)for ele in result:print(ele)# 第二问： (（uid,"功夫") 10)# [(time,uid,"中华人民"),()]def splitWord(tupl):li1 = jieba.cut_for_search(tupl[2]) # 中国 中华 共和国li2 = list()for word in li1:li2.append(((tupl[1], word),1))return li2newRdd = tupleRdd.flatMap(splitWord)#newRdd.foreach(print)reduceByUIDAndWordRdd = newRdd.reduceByKey(lambda sum,num : sum + num)# reduceByUIDAndWordRdd.foreach(print)valList =reduceByUIDAndWordRdd.values()print(valList.max())print(valList.min())print(valList.mean()) # 中位数print(valList.sum() / valList.count()) ## 第三问 统计一天每小时点击量并按照点击量降序排序reductByKeyRDD = tupleRdd.map(lambda tup: (tup[0][0:2],1)).reduceByKey(lambda sum,num : sum + num)sortRdd = reductByKeyRDD.sortBy(keyfunc=lambda tup:tup[1],ascending=False)listNum = sortRdd.take(24)for ele in listNum:print(ele)tupleRdd.unpersist(blocking=True)# 使用完后，记得关闭sc.stop()
将任务运行，运行过程中，发现内存中存储了50M的缓存数据
适用场景：RDD需要多次使用，或者RDD是经过非常复杂的转换过程所构建。
一般缓存的RDD都是经过过滤，经过转换之后重复利用的rdd,可以添加缓存，否则不要加。
六、总结
Spark 的容错机制通过多种方式保障了数据处理的稳定性和高效性。RDD 的持久化机制（包括 cache 和 persist 算子）为频繁使用的 RDD 提供了灵活的缓存策略，能够有效减少重复计算，提高处理效率。而检查点机制则侧重于数据的高安全性存储，在面对可能的缓存丢失或系统故障时，确保数据的完整性和可用性。在实际应用中，需要根据数据处理任务的特点、资源状况以及对数据安全性和性能的要求，合理选择使用持久化机制和检查点机制，以充分发挥 Spark 框架的优势，构建可靠高效的大数据处理应用。
![RT-DETR融合CVPR[2020]轻量化卷积模块Ghost Module模块](https://i-blog.csdnimg.cn/direct/cee35049d16a4ed6b384336c4a3b4d9e.png)
