《PySpark大数据分析实战》图书上线啦

《PySpark大数据分析实战》图书上线啦
- 特殊的日子
- 关于创作
- 关于数据
- 关于Spark
- 关于PySpark
- 关于图书/专栏

《PySpark大数据分析实战》图书上线啦

特殊的日子

不知不觉一转眼入驻CSDN已经满一年了，这真是一个充满意义的特殊的日子！

关于创作

这期间创作了一些文章，包括：数据分析中的Python基础、数据分析工具、TiDB分布式数据库、大数据基础以及华为大数据集群FusionInsight相关的内容。关于创作，其实我没有想太多，只是想着总结自己学习和工作中所学、所用以及所遇到的问题，记录下这些知识的同时，将它们分享给大家。现在回过头来看看，其实这些知识还是比较零散，没有形成一个知识体系，并且量也比较少。

为了形成一个完整的知识体系，让想要分享的知识内容更丰富，在经过几个月的打磨后，现在我隆重向大家介绍《PySpark大数据分析实战》图书上线啦，并且同名专栏“PySpark大数据分析实战”也同步上线。在接下来的时间里，我会在专栏中持续分享相关的知识内容，希望同大家一起探讨、共同进步，同时也希望对初学者能有些帮助。

关于数据

随着互联网和科技的发展，我们每天都在产生大量的数据，这些数据包含了丰富的信息，大数据处理分析已经成为全球范围内的重要议题。大数据分析是当今时代的重要技能，它可以帮助我们从海量的数据中发现规律、洞察趋势、优化决策。然而，随着数据量爆炸式的增长和复杂度的提高，传统的数据分析工具已经难以满足我们的需求。我们需要一种更强大、更灵活、更高效的大数据处理平台，来应对各种数据挑战。

关于Spark

Apache Spark™是一个分布式处理引擎，用于在大规模数据集上执行数据工程、数据科学和机器学习任务。作为数据科学爱好者，您可能熟悉在本地机器上存储文件并使用Python对其进行处理，但是，本地机器有其局限性，无法处理非常大规模的数据集。要处理PB级的大规模数据集，仅了解Python框架是不够的。分布式处理是一种使用多台计算机来运行应用程序的方式，无需尝试在单台计算机上处理大型数据集，而是可以在相互通信的多台计算机之间分配任务。借助Spark，您可以实现单台计算机上不可能做到的事情，实现对PB级数据运行查询和机器学习，这就是Spark的用武之地。如果您想成为一名数据科学家，在大规模数据集上分析数据和训练机器学习模型的能力是一项宝贵的技能。

关于PySpark

Spark是目前最流行的大数据处理框架之一，可以处理大规模的数据集，它具有快速、易用、通用和兼容等特点，可以支持批处理、流式处理、交互式查询和机器学习等多种场景，对于大数据分析非常有用。Python是一种广泛使用的优雅、易学的编程语言，因其简洁明了的语法和强大的数据处理能力，被广大数据分析师和数据科学家所喜爱，它拥有丰富的数据科学库和社区资源，可以与Spark无缝集成，实现大数据分析的全栈开发。PySpark是Spark的Python接口，它允许我们使用Python语言进行大数据分析。系统地学习PySpark，掌握大数据处理的技能，能够处理和分析大规模的数据集，这对于数据科学家和数据工程师来说是非常重要的。此外，由于PySpark是开源的，因此它也为我们提供了一个学习和分享知识的平台。

关于图书/专栏

《PySpark大数据分析实战》的内容共分为11章。第1章_{第4章是基础知识介绍。第5章和第6章是Spark的核心知识，其核心数据抽象RDD和DataFrame及相关的转换操作是后续其余章节的基础，对整个Spark的学习都非常重要。第7章是整合大数据仓库Hive，让Spark可以轻松处理已有数据仓库中的数据。第8章}第10章是Spark中的高级主题，包括流式数据处理和机器学习，其底层数据依然是RDD和DataFrame。第11章是一个综合案例。

各章节内容如下：

第1章主要介绍了大数据的发展以及相关的技术，介绍了Spark的发展历程、特点、架构、PySpark库等，让读者对大数据技术及Spark有一个大致的了解。
第2章主要介绍了Spark环境的搭建，包括操作系统基础环境准备、单机环境搭建、独立集群环境搭建、Yarn集群环境搭建以及云环境Databricks介绍等，让我们开发的代码有运行的地方。
第3章主要介绍了数据分析的基础知识，包括数据分析流程、数据分析的常用工具库和可视化库等。
第4章主要介绍了几种开发工具，包括Databricks、JupyterLab、PyCharm和PyCharm插件等，并且用每种工具都完成一个数据分析案例的开发，让读者对各种开发工具的开发流程及特点有所了解。
第5章主要介绍了Spark的核心功能Spark Core，介绍了Spark程序入口SparkContext、核心数据抽象RDD，介绍了RDD的创建、转换、持久化等功能，并用案例展示了如何在数据分析中使用RDD。
第6章主要介绍了Spark的结构化数据处理Spark SQL，介绍了统一的Spark程序入口SparkSession、核心数据抽象DataFrame，介绍了DataFrame的创建、转换、SQL操作和自定义函数等功能，并用案例展示了DataFrame在数据分析中的应用。
第7章主要介绍了使用Spark操作大数据仓库Hive中的数据，无需数据迁移，即可让Spark轻松处理Hive中已有的海量数据，并用案例展示了Spark如何直接操作Hive数据进行数据分析。
第8章和第9章主要介绍了两种不同的流式数据处理，包括创建、数据处理、结果输出等。第8章Spark Streaming中的数据抽象是DStream，底层数据是RDD。第9章Structured Streaming的底层数据是DataFrame。
第10章主要介绍了机器学习库MLlib，介绍了机器学习的基础知识、机器学习流程、模型评估、机器学习算法等。对机器学习感兴趣的读者可以了解到如何在Spark集群中完成机器学习，解决单机环境下的机器学习无法解决的内容。
第11章主要是一个综合案例，基于协同过滤的图书推荐系统，综合运用到Spark SQL、Structured Streaming、Spark MLlib、Kafka、MySQL、Flask、Flask-Admin等相关技术，实现大数据分析的全栈开发。