Spark On Hive原理和配置

目录

一、Spark On Hive原理

        （1）为什么要让Spark On Hive？

二、MySQL安装配置（root用户）

        （1）安装MySQL

        （2）启动MySQL设置开机启动

        （3）修改MySQL密码

三、Hive安装配置

        （1）修改Hadoop的core-site.xml

        （2）创建hive-site.xml

        （3）修改配置文件hive-env.sh

        （4）上传mysql连接驱动

        （5）初始化元数据 （Hadoop集群启动后）      

        （6）创建logs目录，启动元数据服务

        （7）启动Hive shell

四、Spark On Hive配置

        （1）创建hive-site.xml（spark/conf目录）

        （2）放置MySQL驱动包

        （3）查看hive的hive-site.xml配置

        （4）启动hive的MetaStore服务

        （5）Spark On Hive测试

        （6）Pycharm-spark代码连接测试

一、Spark On Hive原理

        （1）为什么要让Spark On Hive？

        对于Spark来说，自身是一个执行引擎。但是Spark自己没有元数据管理功能，当我们执行： SELECT * FROM person WHERE age > 10的时候， Spark完全有能力将SQL变成RDD提交。

        但是问题是，Person的数据在哪? Person有哪些字段?字段啥类型? Spark完全不知道了。不知道这些东西，如何翻译RDD运行。在SparkSQL代码中可以写SQL那是因为，表是来自DataFrame注册的。 DataFrame中有数据，有字段，有类型，足够Spark用来翻译RDD用.。如果以不写代码的角度来看，SELECT * FROM person WHERE age > 10 spark无法翻译，因为没有元数据。

        解决方案：

        Spark提高执行引擎能力，Hive的MetaStore提供元数据管理功能。选择Hive的原因是使用Hive的用户数量多。

Hive与SparkOnHive流程示意图

二、MySQL安装配置（root用户）

        （1）安装MySQL

        命令：

        rpm  --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

        rpm -Uvh https://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

        yum -y install mysql-community-server

        （2）启动MySQL设置开机启动

        命令：

        systemctl start mysqld

        systemctl enable mysqld

        （3）修改MySQL密码

        命令：

        查看密码：grep 'temporary password' /var/log/mysqld.log

        修改密码：

mysql -uroot -p  #登录MySQL，密码是刚刚查看的临时密码set global validate_password_policy=LOW;   #密码安全级别低set  global  validate_password_length=4;  #密码长度最低四位ALTER USER 'root'@'localhost' IDENTIFIED BY '密码'; # 设置用户和密码
# 配置远程登陆用户以及密码
grant all privileges on *.* to root@"%" identified by 'root' with grant option;flush privileges;

三、Hive安装配置

        （1）修改Hadoop的core-site.xml

        添加内容如下:

     <property>
            <name>hadoop.proxyuser.noregrets.hosts</name>
            <value>*</value>
    </property>
    <property>
            <name>hadoop.proxyuser.noregrets.groups</name>
            <value>*</value>
    </property>

        上传解压安装Hive压缩包并构建软连接
        命令：

        解压：tar -zvxf apache-hive-3.1.3-bin-tar-gz -C /export/servers

        构建软连接：ln -s /export/servers/apache-hive-3.1.3-bin/ /export/servers/hive

        （2）创建hive-site.xml

        命令：

        cd /export/servers/hive/conf

        vim hive-site.xml

        添加内容如下：

<configuration>

        <!-- 存储元数据mysql相关配置 -->

        <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://pyspark01:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionDriverName</name>

                <value>com.mysql.jdbc.Driver</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionUserName</name>

                <value>root</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionPassword</name>

                <value>root</value>

        </property>

        <!-- H2S运行绑定host -->

        <property>

                <name>hive.server2.thrift.bind.host</name>

                <value>pyspark01</value>

        </property>

        <!-- 远程模式部署metastore metastore地址 -->

        <property>

                <name>hive.metastore.uris</name>

                <value>thrift://pyspark01:9083</value>

        </property>

        <!-- 关闭元数据存储授权 -->

        <property>

                <name>hive.metastore.event.db.notification.api.auth</name>

                <value>false</value>

        </property>

</configuration>

        （3）修改配置文件hive-env.sh

        命令：

        cd /export/servers/hive/conf

        cp hive-env.sh.template hive-env.sh

        vim hive-env.sh（修改第48行内容）

        内容如下：

        export HADOOP_HOME=/export/servers/hadoop
        export HIVE_CONF_DIR=/export/servers/hive/conf
        export HIVE_AUX_JARS_PATH=/export/servers/hive/lib

        （4）上传mysql连接驱动

链接：https://pan.baidu.com/s/1MJ9QBsE3h1FAxuB3a4iyVw?pwd=1111 
提取码：1111 

        MySQL5使用5的连接版本，MySQL8使用8的连接版本。

        （5）初始化元数据 （Hadoop集群启动后）      

        命令：

        登录数据库：

        mysql -uroot -p

        CREATE DATABASE hive CHARSET UTF8;        #建表

        cd /export/server/hive/

        bin/schematool -initSchema -dbType mysql -verbos

        #初始化成功会在mysql中创建74张表

        （6）创建logs目录，启动元数据服务

        命令：

        创建文件夹：mkdir logs

        启动元数据服务：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

        （7）启动Hive shell

        命令：bin/hive（配置环境变量可直接使用hive）

四、Spark On Hive配置

        （1）创建hive-site.xml（spark/conf目录）

        添加内容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!--告知Spark创建表存到哪里-->
        <property>
                <name>hive.metastore.warehouse.dir</name>
                <value>/user/hive/warehouse</value>
        </property>
        <property>
                <name>hive.metastore.local</name>
                <value>false</value>
        </property>
<!--告知Spark Hive的MetaStore在哪-->
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://pyspark01:9083</value>
        </property>
</configuration>

        （2）放置MySQL驱动包

        （3）查看hive的hive-site.xml配置

        确保有如下配置：

        （4）启动hive的MetaStore服务

        命令：

        nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

        （5）Spark On Hive测试

        ①创建表sparkonhive

        命令：

        在spark目录下：

        bin/spark         

        spark.sql('create table sparkonhive(id int)' )

        ②进入查看查看

        命令：

        hive目录：

        bin/hive(配置过环境变量可直接使用hive)

        （6）Pycharm-spark代码连接测试

        在Linux的sparkSQl终端或者hive终端创建学生表，然后使用spark代码查询。

        命令：

        create table student(id int, name string);

        insert into student values(1,'张三'),(2, '李四');

        使用spark代码查询

        在Spark代码中加上如下内容

# cording:utf8
import string
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
from pyspark.sql.types import IntegerType, StringType, StructType, ArrayType
if __name__ == '__main__':spark = SparkSession.builder.\appName('udf_define').\master('local[*]').\config('spark.sql.shuffle.partitions', 2).\config('spark.sql.warehouse.dir', 'hdfs://pyspark01:8020/user/hive/warehouse').\config('hive.metastore.uris', 'thrift://pyspark01:9083').\enableHiveSupport().\getOrCreate()sc = spark.sparkContextspark.sql('''SELECT * FROM student''').show()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/174402.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

后悔没早学这份Python神级文档！2023最新入门到进阶核心知识点学习文档！

后悔没早学这份Python神级文档！2023最新入门到进阶核心知识点学习文档！

如今学 Python 的程序员越来越多&#xff0c;甚至不少人会把 Python 当作第一语言来学习。不过尽管 Python 功能强大上手轻松&#xff0c;但并不代表它的学习曲线不陡峭&#xff0c;得来全不费工夫。 当推开 Python 的大门&#xff0c;你会发现 Python 入门简单但精通很难。看…
阅读更多...
Realrek 2.5G交换机 8+1万兆光RTL8373-VB-CG方案简介

Realrek 2.5G交换机 8+1万兆光RTL8373-VB-CG方案简介

新一代2.5G交换机方案RTL8373-VB-CG可以提供4中不同形态 a. 52.5G 电口110G光》RTL8373 b. 52.5G 电口110G电》RTL83738261 c. 82.5G 电口110G光》RTL83738224 d.82.5G 电口110G电口》RTL837382248261 1.概述 Realtek RTL8373-CG是一款低功耗、高性能、高度集成的八端口2.5G和一…
阅读更多...
(c语言进阶)字符串函数、字符分类函数和字符转换函数

(c语言进阶)字符串函数、字符分类函数和字符转换函数

一.求字符串长度 1.strlen() (1)基本概念 头文件&#xff1a;<string.h> (2)易错点&#xff1a;strlen()的返回值为无符号整形 #include<stdio.h> #include<string.h> int main() {const char* str1 "abcdef";const char* str2 "bbb&q…
阅读更多...
N-129基于springboot,vue学生宿舍管理系统

N-129基于springboot,vue学生宿舍管理系统

开发工具&#xff1a;IDEA 服务器&#xff1a;Tomcat9.0&#xff0c; jdk1.8 项目构建&#xff1a;maven 数据库&#xff1a;mysql5.7 系统分前后台&#xff0c;项目采用前后端分离 前端技术&#xff1a;vuevue-element-admin 服务端技术&#xff1a;springboot,mybatis…
阅读更多...
css矩形盒子实现虚线流动边框+css实现step连接箭头

css矩形盒子实现虚线流动边框+css实现step连接箭头

由于项目里需要手写步骤条 且实现指定状态边框虚线流动效果&#xff0c;故使用css去绘制步骤条连接箭头和绘制边框流动效果 效果&#xff1a; 1.绘制步骤条连接箭头 <ul class"process-list"><div v-for"(process, index) in processes" :key&qu…
阅读更多...
论文阅读——DistilBERT

论文阅读——DistilBERT

ArXiv&#xff1a;https://arxiv.org/abs/1910.01108 Train Loss: DistilBERT&#xff1a; DistilBERT具有与BERT相同的一般结构&#xff0c;层数减少2倍&#xff0c;移除token类型嵌入和pooler。从老师那里取一层来初始化学生。 The token-type embeddings and the pooler a…
阅读更多...
UEditorPlus v3.6.0 图标补全，精简代码，快捷操作重构，问题修复

UEditorPlus v3.6.0 图标补全，精简代码，快捷操作重构，问题修复

UEditor是由百度开发的所见即所得的开源富文本编辑器&#xff0c;基于MIT开源协议&#xff0c;该富文本编辑器帮助不少网站开发者解决富文本编辑器的难点。 UEditorPlus 是有 ModStart 团队基于 UEditor 二次开发的富文本编辑器&#xff0c;主要做了样式的定制&#xff0c;更符…
阅读更多...
Wpf 使用 Prism 实战开发Day03

Wpf 使用 Prism 实战开发Day03

一.实现左侧菜单绑定 效果图: 1.首先需要在项目中创建 mvvm 的架构模式 创建 Models &#xff0c;放置实体类。 实体类需要继承自Prism 框架的 BindableBase&#xff0c;目的是让实体类支持数据的动态变更! 例如: 系统导航菜单实体类 / <summary>/// 系统导航菜单实体类…
阅读更多...
CAD需要学c语言嘛？

CAD需要学c语言嘛？

CAD需要学c语言嘛&#xff1f; AutoCAD 和 C 语言没有关系的。 如果非要说是 AutoCAD 和哪个编程语言有关系&#xff0c;那应该是 VBA, 可以通过 VBA 编程&#xff0c;最近很多小伙伴找我&#xff0c;说想要一些c语言资料&#xff0c;然后我根据自己从业十年经验&#xff0c;熬…
阅读更多...
关于安科瑞交流多回路智能电量采集监控装置在某高速项目的实际应用分析-安科瑞 蒋静

关于安科瑞交流多回路智能电量采集监控装置在某高速项目的实际应用分析-安科瑞 蒋静

1项目背景 河南安阳林州市某高速公路项目是河南省政府主要打造的一项公路建设项目&#xff0c;该项目全长约70公里&#xff0c;起点位于安阳市内&#xff0c;终点位于林州市县。 该项目的建设旨在缓解当地交通压力&#xff0c;提高区域交通运输能力和服务水平&#xff0c;促进…
阅读更多...
竞赛 深度学习卷积神经网络垃圾分类系统 - 深度学习 神经网络 图像识别 垃圾分类 算法 小程序

竞赛 深度学习卷积神经网络垃圾分类系统 - 深度学习 神经网络 图像识别 垃圾分类 算法 小程序

文章目录 0 简介1 背景意义2 数据集3 数据探索4 数据增广(数据集补充)5 垃圾图像分类5.1 迁移学习5.1.1 什么是迁移学习&#xff1f;5.1.2 为什么要迁移学习&#xff1f; 5.2 模型选择5.3 训练环境5.3.1 硬件配置5.3.2 软件配置 5.4 训练过程5.5 模型分类效果(PC端) 6 构建垃圾…
阅读更多...
Ubuntu 诞生 19 年

Ubuntu 诞生 19 年

导读2004 年 10 月 20 日&#xff0c;Ubuntu 4.10 正式发布&#xff0c;代号‘Warty Warthog’。 作为 Ubuntu 第一个版本&#xff0c;4.10 问世后立刻受到广大 Linux 用户欢迎。它搭载了当时最新的 GNOME 2.8 桌面环境&#xff0c;以及一系列实用软件&#xff0c;比如 Mozilla…
阅读更多...
一带一路10周年：爱创科技加速中国药企国际化征程

一带一路10周年：爱创科技加速中国药企国际化征程

“源自中国&#xff0c;属于世界”。 共建“一带一路”倡议提出10周年来&#xff0c;中国与沿线国家经济深度融合&#xff0c;在共商共建共享的基本原则下&#xff0c;“一带一路”形成了国际合作的平台和机制&#xff0c;跨国经济合作已基本形成。 随着“一带一路”合作日益加…
阅读更多...
react中的useState和useImmer的用法

react中的useState和useImmer的用法

文章目录 一、useState1. 更新基本类型数据2. 更新对象3. 更新嵌套对象4. 更新数组5.更新数组对象 二、Immer1. 什么是Immer2. 使用use-immer更新嵌套对象3. 使用useImmer更新数组内部的对象 一、useState react中文官网教程 1. 更新基本类型数据 在函数式组件中&#xff0c…
阅读更多...
IPv6+ 3.0关键技术解析与应用实践探索

IPv6+ 3.0关键技术解析与应用实践探索

IPv6作为面向5G和云计算的智能IP技术&#xff0c;其核心是以IPv6技术架构为底座&#xff0c;并基于用户的新兴业务进行创新发展而来的。任何一项技术创新的背后都有一只看不见的推手-用户的需求&#xff0c;也就是用户的业务发展所需&#xff0c;进一步来说是用户的应用系统在驱…
阅读更多...
【广州华锐互动】牛顿运动定律VR虚拟教学软件

【广州华锐互动】牛顿运动定律VR虚拟教学软件

在科技日新月异的今天&#xff0c;虚拟现实&#xff08;VR&#xff09;技术已经逐渐渗透到各个领域&#xff0c;为我们带来了前所未有的沉浸式体验。在教育领域&#xff0c;VR技术的应用也日益广泛&#xff0c;尤其是在物理教学中&#xff0c;牛顿运动定律VR虚拟教学软件为学生…
阅读更多...
分析Python招聘数据，可视化展示招聘信息详情

分析Python招聘数据，可视化展示招聘信息详情

嗨喽~大家好呀&#xff0c;这里是魔王呐 ❤ ~! python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取 一. 数据来源分析 明确需求 明确采集网站以及数据内容 数据: 职位信息 网址: https://we.51job.com/pc/search?keywordpython&searchType3&sortType0&am…
阅读更多...
Python通过pyecharts对爬虫房地产数据进行数据可视化分析（一）

Python通过pyecharts对爬虫房地产数据进行数据可视化分析（一）

一、背景 对Python通过代理使用多线程爬取安居客二手房数据&#xff08;二&#xff09;中爬取的房地产数据进行数据分析与可视化展示 我们爬取到的房产数据&#xff0c;主要是武汉二手房的房源信息&#xff0c;主要包括了待售房源的户型、面积、朝向、楼层、建筑年份、小区名称…
阅读更多...
删除Win11文件管理器左侧的‘主文件夹‘和‘图库‘的链接.

删除Win11文件管理器左侧的‘主文件夹‘和‘图库‘的链接.

删除Win11文件管理器左侧的主文件夹和图库的链接.删除步骤&#xff1a; * 1. win r 打开运行&#xff0c; 输入"regedit"打开注册表. * 2. 删除注册表: HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\Desktop\NameSpace_xxxxxxxNameSpace…
阅读更多...
使用WebStorm创建和配置TypeScript项目

使用WebStorm创建和配置TypeScript项目

创建 这里我用的是WebStorm 2019.2.2版本 首先&#xff0c;创建一个空项目 File -> New -> Project->Empty Project生成配置文件 自动配置&#xff1a; 打开终端输入tsc --init&#xff0c;即可自动生成tsconfig.json文件 手动配置&#xff1a; 在项目根目录下新建一…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023