Python连接Hive实例教程

一 Python连接hive环境实例 

        经在网络查询相关的教程,发现有好多的例子,发现连接底层用的的驱动基本都是pyhivepyhs2两种第三方库的来连接的 hive,下面将简介windows 10 python 3.10 连接hive的驱动程序方式,开发工具:pycharm  ,经过测试已成功,分享给大家,有什么问题,可私信与我。

1 第一种:Python安装支持hive相关的库(pyhive)

1.1 安装sasl,本人建议采用离线安装方式,减少在线自动版本解决的问题

1.1.1 查询python版本 ,在命令下执行如下命令,如果不行,请查阅相关python安装教程

python --version

 如下图所示

 1.1.2 下载sasl相应版本的库(whl), 此处特别注意版本,如果版本不一致,导致不能安装同时使用

我的python为python 3.10的,

cp310:表示为python的版本,为python 3 10的

win_amd64:表示为驱动为windows 64位的驱动

下载网址(包括其他离线库和包):sasl下载版本地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl

相应包:sasl-0.3.1-cp310-cp310-win_amd64.whl在

pip install  sasl-0.3.1-cp310-cp310-win_amd64.whl

1.1.3 安装sasl,切换python环境的根目录,命令为

pip install  sasl-0.3.1-cp310-cp310-win_amd64.whl

 如下图所示,此处显示已安装成功的提示


1.2 安装thrift,命令如下,此处没有特别注意事项,如果有的话,请联系我

pip install thrift

 如下图所示

 1.3 安装thrift_sasl,命令如下

pip install thrift_sasl

 

 1.4 安装phhive,命令如下

pip install pyhive

 如下图所示,已安装提示

 2  第二种: Python安装支持hive相关的库(pyhs2)

2.1 如果安装中,有提供c++的库或相关工具,建立直接执行c++库包,我本采采用的360的全部C++库的安装方式,此方法简单明了,减少缺包的情况;或到微信官网下功相应的包安装。

注:此步要很重要

2.1 安装命令如下

pig install  pyhs2

 


二 Python开发实例


 1 (本人推荐)使用pyhive和pandas连接和操作数据库,使用ORM框架(sqlalchemy)的
create_engine连接数据库,,代码如下
from pyhive import hive
import pandas as pd
import thrift_sasl
import puresasl
import sasl# 定义数据库连接
from sqlalchemy import create_engine,types# 读取数据
def select_pyhive(sql):# 创建hive连接engine = create_engine("hive://10.88.221.112:10000/ods")try:df = pd.read_sql(sql, engine)return  dffinally:if engine:engine.dispose()#执行函数
df=select_pyhive('SHOW DATABASES')
print(df)
 2  使用pyhive和pandas连接和操作数据库,使用pyhive中的connection来连接hive,代码如下
from pyhive import hive
import pandas as pd# 读取数据
def select_pyhive(sql):# 创建hive连接conn = hive.Connection(host='10.88.221.112', port=10000, username='hive', password='hive',database='ods')try:df = pd.read_sql(sql, conn)return  dffinally:if conn:conn.close()#执行函数
df=select_pyhive('SHOW DATABASES')
print(df)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/81288.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

找工作的才是大爷?面试了一个工作4年的测试工程师,一问连自动化基础都不清楚,还反过来怼我....

我们公司也开始大量招人了,我这次是公司招聘的面试官之一,主要负责一些技术上的考核,这段时间还真让我碰到了不少奇葩求职者 昨天公司的HR小席刚跟我吐槽:这几个星期没有哪天不加班的!各种招聘网站上的消息源源不断&a…

MyCat管理及监控——zookeeper及MyCat-web安装

1.MyCat管理 2.MyCat-eye 3.zookeeper安装 第一步:解压 第二部: 切换目录,创建data文件夹 第三步:修改zookeeper配置文件 这样zookeeper安装及配置就完成了 4.MyCat-web安装 注意mycat-web要与zookeeper关联,…

FL Studio低版本怎么免费升级:FL Studio升级要钱吗?

为了更好的服务国内FL Studio用户,FL Studio 官网提供了跨版本升级的服务,用户可以通过缴纳一定的费用,将自己已购买的入门版或其他非完整版的版本,升级为更高的版本,解锁更多的插件,而无需重新购买整套版本…

深入浅出对话系统——闲聊对话系统进阶

引言 本文主要关注生成式闲聊对话系统的进阶技术。 基于Transformer的对话生成模型 本节主要介绍GPT系列文章,这是由OpenAI团队推出的,现在大火的ChatGPT也是它们推出的。 GPT : Improving Language Understanding by Generative Pre-Traini ng 在自…

每次执行@Test方法前都执行一次DB初始化(SpringBoot Test + JUnit5环境)

引言 在执行单元测试时,可以使用诸如H2内存数据库替代线上的Mysql数据库等,如此在执行单元测试时就能尽可能模拟真实环境的SQL执行,同时也无需依赖线上数据库,增加了测试用例执行环境的可移植性。而使用H2数据库时,通…

两个多选框(select)之间值的左右上下移动

<!DOCTYPE html> <html> <head><meta charset"utf-8"><title>两个多选框(select)之间值的左右上下移动</title> </head> <script src"https://cdn.bootcss.com/jquery/3.3.1/jquery.js"></script>&…

看重ARM?苹果、三星、英伟达等知名企业纷纷表示加大投资

根据日经亚洲的报道&#xff0c;芯片设计公司Arm计划进行首次公开募股并在纳斯达克上市。苹果、三星电子、英伟达、英特尔等知名企业计划在Arm美股上市后投资该公司。 据悉&#xff0c;Arm将于9月份上市&#xff0c;预计估值将达到至少600亿美元&#xff08;约合4314亿元人民币…

Spring Boot多级缓存实现方案

1.背景 缓存&#xff0c;就是让数据更接近使用者&#xff0c;让访问速度加快&#xff0c;从而提升系统性能。工作机制大概是先从缓存中加载数据&#xff0c;如果没有&#xff0c;再从慢速设备(eg:数据库)中加载数据并同步到缓存中。 所谓多级缓存&#xff0c;是指在整个系统架…

Jmeter录制HTTPS脚本

Jmeter录制HTTPS脚本 文章目录 添加“HTTP代理服务器”设置浏览器代理证书导入存在问题 添加“HTTP代理服务器” 设置浏览器代理 保持端口一致 证书导入 点击一下启动让jmeter自动生成证书&#xff0c;放在bin目录下&#xff1a; 打开jmeter的SSL管理器选择刚刚生成的证书&…

Linux root用户执行修改密码命令,提示 Permission denied

问题 linux系统中&#xff08;ubuntu20&#xff09;&#xff0c;root用户下执行passwd命令&#xff0c;提示 passwd: Permission denied &#xff0c;如下图&#xff1a; 排查 1.执行 ll /usr/bin/passwd &#xff0c;查看文件权限是否正确&#xff0c;正常情况是 -rwsr-xr…

20230807通过ffmpeg将DTS编码的AUDIO音频转换为AAC编码

20230807通过ffmpeg将DTS编码的AUDIO音频转换为AAC编码 2023/8/7 20:04 ffmpeg dts 转AAC 缘起&#xff1a;由于网上找的电影没有中文字幕&#xff0c;有内置的英文字幕&#xff0c;但是还是通过剪映/RP2023识别一份英文字幕备用&#xff01; I:\Downloads\2005[红眼航班]Red E…

一、MySql前置知识

文章目录 一、什么是数据库&#xff08;一&#xff09;存储数据用文件就可以了&#xff0c;为什么还要弄个数据库?&#xff08;二&#xff09;数据库存储介质&#xff1a;&#xff08;三&#xff09;主流数据库 二、数据库基本操作&#xff08;一&#xff09;连接服务器&#…

基于Spring Boot的医院预约挂号网站设计与实现(Java+spring boot+MySQL)

获取源码或者论文请私信博主 演示视频&#xff1a; 基于Spring Boot的医院预约挂号网站设计与实现&#xff08;Javaspring bootMySQL&#xff09; 使用技术&#xff1a; 前端&#xff1a;html css javascript jQuery ajax thymeleaf 微信小程序 后端&#xff1a;Java spring…

Linux 远程登录

Linux 远程登录 Linux 一般作为服务器使用&#xff0c;而服务器一般放在机房&#xff0c;你不可能在机房操作你的 Linux 服务器。 这时我们就需要远程登录到Linux服务器来管理维护系统。 Linux 系统中是通过 ssh 服务实现的远程登录功能&#xff0c;默认 ssh 服务端口号为 2…

机器学习深度学习——从全连接层到卷积

&#x1f468;‍&#x1f393;作者简介&#xff1a;一位即将上大四&#xff0c;正专攻机器学习的保研er &#x1f30c;上期文章&#xff1a;机器学习&&深度学习——非NVIDIA显卡怎么做深度学习&#xff08;坑点排查&#xff09; &#x1f4da;订阅专栏&#xff1a;机器…

流量、日志分析

流量分析 知识点&#xff1a; 流量包分析简介 - CTF Wiki (ctf-wiki.org) Wireshark 基本语法&#xff0c;基本使用方法&#xff0c;及包过虑规则_wireshark语法_竹痕的博客-CSDN博客 MISC&#xff1a;流量包取证&#xff08;pcap文件修复、协议分析、数据提取&#xff09;…

【linux-keepalive】keepalive避免单点故障,高可用配置

keepalive: [rootproxy ~]# yum install -y keepalived [rootproxy ~]# vim /etc/keepalived/keepalived.conf global_defs {router_id proxy1 //设置路由ID号vrrp_iptables //不添加任何防火墙规则 } vrrp_instance V…

AI Chat 设计模式:13. 代理模式

本文是该系列的第十三篇&#xff0c;采用问答式的方式展开&#xff0c;和前面的文章有一些不同&#xff0c;我不再进行提问了&#xff0c;改为由 GPT 1 号提问&#xff0c;GPT 2 号作答&#xff0c;每一节的小标题是我从 GPT 1 号的提问中总结出来的。我现在是完完全全的旁观者…

H. HEX-A-GONE Trails 2023“钉耙编程”中国大学生算法设计超级联赛(7)hdu7354

Problem - 7354 题目大意&#xff1a;有一棵n个点的树&#xff0c;A和B分别从点x&#xff0c;y开始&#xff0c;每轮可以移动到一个相邻节点&#xff0c;但如果某个节点有人访问过&#xff0c;则两人都不能访问那个节点&#xff0c;先没有点可走的人输&#xff0c;问A有没有必…

LeetCode:Hot100的python版本

94. 二叉树的中序遍历