第1章 Presto
1.1 Presto简介
1.1.1 Presto概念
1.1.2 Presto架构
1.1.4 Presto、Impala性能比较
Presto、Impala性能比较_presto和impala对比-CSDN博客
测试结论:Impala性能稍领先于Presto,但是Presto在数据源支持上非常丰富,包括Hive、图数据库、传统关系型数据库、Redis等。
总结:这是一些场景下的查询效率的比较,数据量不是很大,但是能看出一些问题,他们的共同点就是吃内存,当然在内存充足的情况下,并且有规模适当的集群,性能应该会更可观,从上图可以看出Impala性能稍领先于presto,但是presto在数据源支持上非常丰富,包括hive、图数据库、传统关系型数据库、Redis等
缺点:这两种对hbase支持的都不好,presto 不支持,但是对hdfs、hive兼容性很好,其实这也是顺理成章的,所以数据源的处理很重要,针对hbase的二级索引查询可以用phoenix,效果也不错
1.2 Presto安装
1.2.1 Presto Server安装
0)官网地址
https://prestodb.github.io/
1)下载地址
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz
2)将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下,并解压到/opt/module目录
[seven@hadoop102 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/
3)修改名称为presto
[seven@hadoop102 module]$ mv presto-server-0.196/ presto
4)进入到/opt/module/presto目录,并创建存储数据文件夹
[seven@hadoop102 presto]$ mkdir data
5)进入到/opt/module/presto目录,并创建存储配置文件文件夹
[seven@hadoop102 presto]$ mkdir etc
6)配置在/opt/module/presto/etc目录下添加jvm.config配置文件
[seven@hadoop102 etc]$ vim jvm.config
添加如下内容
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
7)Presto可以支持多个数据源,在Presto里面叫catalog,这里我们配置支持Hive的数据源,配置一个Hive的catalog
[seven@hadoop102 etc]$ mkdir catalog
[seven@hadoop102 catalog]$ vim hive.properties
添加如下内容
connector.name=hive-hadoop2
hive.metastore.uri=thrift://hadoop102:9083
8)将hadoop102上的presto分发到hadoop103、hadoop104
[seven@hadoop102 module]$ xsync presto
9)分发之后,分别进入hadoop102、hadoop103、hadoop104三台主机的/opt/module/presto/etc的路径。配置node属性,node id每个节点都不一样。
[seven@hadoop102 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff
node.data-dir=/opt/module/presto/data[seven@hadoop103 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffe
node.data-dir=/opt/module/presto/data[seven@hadoop104 etc]$vim node.properties
node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffffd
node.data-dir=/opt/module/presto/data
10)Presto是由一个coordinator节点和多个worker节点组成。在hadoop102上配置成coordinator,在hadoop103、hadoop104上配置为worker。
(1)hadoop102上配置coordinator节点
[seven@hadoop102 etc]$ vim config.properties
添加内容如下
coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery-server.enabled=true
discovery.uri=http://hadoop102:8881
(2)hadoop103、hadoop104上配置worker节点
[seven@hadoop103 etc]$ vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881
[seven@hadoop104 etc]$ vim config.properties
添加内容如下
coordinator=false
http-server.http.port=8881
query.max-memory=50GB
discovery.uri=http://hadoop102:8881
11)在hadoop102的/opt/module/hive目录下,启动Hive Metastore,用seven角色
[seven@hadoop102 hive]$ nohup bin/hive --service metastore >/dev/null 2>&1 &
12)分别在hadoop102、hadoop103、hadoop104上启动Presto Server
(1)前台启动Presto,控制台显示日志
[seven@hadoop102 presto]$ bin/launcher run
[seven@hadoop103 presto]$ bin/launcher run
[seven@hadoop104 presto]$ bin/launcher run
(2)后台启动Presto
[seven@hadoop102 presto]$ bin/launcher start
[seven@hadoop103 presto]$ bin/launcher start
[seven@hadoop104 presto]$ bin/launcher start
13)日志查看路径/opt/module/presto/data/var/log
1.2.2 Presto命令行Client安装
1)下载Presto的客户端
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar
2)将presto-cli-0.196-executable.jar上传到hadoop102的/opt/module/presto文件夹下
3)修改文件名称
[seven@hadoop102 presto]$ mv presto-cli-0.196-executable.jar prestocli
4)增加执行权限
[seven@hadoop102 presto]$ chmod +x prestocli
5)启动prestocli
[seven@hadoop102 presto]$ ./prestocli --server hadoop102:8881 --catalog hive --schema default
6)Presto命令行操作
Presto的命令行操作,相当于Hive命令行操作。每个表必须要加上schema。
例如:select * from schema.table limit 100
1.2.3 Presto可视化Client安装
1)将yanagishima-18.0.zip上传到hadoop102的/opt/module目录
2)解压缩yanagishima
[seven@hadoop102 module]$ unzip yanagishima-18.0.zip
cd yanagishima-18.0
3)进入到/opt/module/yanagishima-18.0/conf文件夹,编写yanagishima.properties配置
[seven@hadoop102 conf]$ vim yanagishima.properties
添加如下内容
jetty.port=7080
presto.datasources=seven-presto
presto.coordinator.server.seven-presto=http://hadoop102:8881
catalog.seven-presto=hive
schema.seven-presto=default
sql.query.engines=presto
4)在/opt/module/yanagishima-18.0路径下启动yanagishima
[seven@hadoop102 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 &
5)启动web页面
http://hadoop102:7080
看到界面,进行查询了。
6)查看表结构
这里有个Tree View,可以查看所有表的结构,包括Schema、表、字段等。
比如执行select * from hive.dw_weather.tmp_news_click limit 10,这个句子里Hive这个词可以删掉,是上面配置的Catalog
每个表后面都有个复制键,点一下会复制完整的表名,然后再上面框里面输入sql语句,ctrl+enter键执行显示结果。
1.3 Presto优化之数据存储
1.3.1 合理设置分区
与Hive类似,Presto会根据元数据信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。
1.3.2 使用列式存储
Presto对ORC文件读取做了特定优化,因此在Hive中创建Presto使用的表时,建议采用ORC格式存储。相对于Parquet,Presto对ORC支持更好。