GreenPlum的gpfdist使用与原理流程分析

一、简介

GreenPlum 的数据导入功能作为对数据源的一种扩充，数据导入的方式有：

  • 1、insert 该方式通过 sql 语句，把数据一条一条插入至表中。这种方式，不仅读取数据慢（一条一条读取），且数据需要经过 master 节点后再分发给所有 segment，所以 master 制约着导入性能。
  • 2、copy 该方式实现了数据的批量读取，但数据依然需要通过 master 节点，所以 master 制约着导入性能，无法实现并行、高效的数据加载。
  • 3、gpfdist 该方式使用 gpfdist 协议，segment 与 数据源直连，数据读取后直接发送给每个 segment。这种方式，数据不再通过 master，真正实现了数据加载的并行、高效。

gpfdist 是 Greenplum 数据库并行文件分发程序。
它可以被外部表和 gpload 用来并行地将外部表文件提供给所有的 Greenplum 数据库 Segment。
它也可以被可写外部表使用，并行接受来自 Greenplum 数据库 Segment 的输出流，并将它们写出到文件中。
总的来说，可以并行读文件数据，通过 segment 将数据读取至 master 中， 可以并行写文件数据，通过 segment 将数据写入文件中。 gpfdist 本身是单进程单线程程序，所以如果需要实现服务端的并行，需要启动多个 gpfdist 服务。

二、架构部署


在这里插入图片描述

三、配置与使用

命令格式：

gpfdist [-d <directory>] [-p <http_port>] [-l <log_file>] [-t <timeout>] 
[-S] [-w <time>] [-v | -V] [-m <max_length>] [--ssl <certificate_path>]gpfdist [-? | help] | --version

例如：gpfdist -p 9000

参数：

-d  <directory>   可以指定工作目录，如果没指定，则为当前目录
-l  <log_file>    指定 log 文件，如果没指定，则直接输出到屏幕中
-p  <http_port>   指定服务端口，默认是 8080
-m  <max_length>  指定最大一行数据的大小，单位是 byte，默认是 32768, 即 32K，可配范围是 32K ~ 256M
-S  <use O_SYNC>  写入文件的时候，同步等待数据写入至存盘后再返回
-v                      显示详细信息
-V                显示更详细信息，当使用这个 V 时，上面的 v 也会被显示出来
-s                    不显示头信息   （这个在 --help 中没有显示，但代码里面是支持的，可以用）
-c                指定一个配置文件，用来执行数据转换的 （这个在 --help 中没有显示，但代码是支持的）
--ssl <certificate_path>   指定 ssl 加密

使用示例

示例中主要使用的是 gpfdist 协议，使用的文件格式主要是 csv。

1、创建只读外部表基本语法

只读外部表

CREATE [READABLE] EXTERNAL [TEMPORARY | TEMP] TABLE table_name     ( column_name data_type [, ...] | LIKE other_table )LOCATION ('file://seghost[:port]/path/file' [, ...])| ('gpfdist://filehost[:port]/file_pattern[#transform=trans_name]'[, ...]| ('gpfdists://filehost[:port]/file_pattern[#transform=trans_name]'[, ...])| ('pxf://path-to-data?PROFILE=profile_name[&SERVER=server_name][&custom-option=value[...]]'))| ('s3://S3_endpoint[:port]/bucket_name/[S3_prefix] [region=S3-region] [config=config_file]')[ON MASTER]FORMAT 'TEXT' [( [HEADER][DELIMITER [AS] 'delimiter' | 'OFF'][NULL [AS] 'null string'][ESCAPE [AS] 'escape' | 'OFF'][NEWLINE [ AS ] 'LF' | 'CR' | 'CRLF'][FILL MISSING FIELDS] )]| 'CSV'[( [HEADER][QUOTE [AS] 'quote'] [DELIMITER [AS] 'delimiter'][NULL [AS] 'null string'][FORCE NOT NULL column [, ...]][ESCAPE [AS] 'escape'][NEWLINE [ AS ] 'LF' | 'CR' | 'CRLF'][FILL MISSING FIELDS] )]| 'CUSTOM' (Formatter=<formatter_specifications>)[ ENCODING 'encoding' ][ [LOG ERRORS [PERSISTENTLY]] SEGMENT REJECT LIMIT count[ROWS | PERCENT] ]

1.1、 使用csv 文件创建只读外部表示例

只读外部表

指定了csv格式的时候，默认的 分隔符（DELIMITER）为 ‘,’ ，默认的引号值（QUOTE）为 ‘"’，默认的换行符（NEWLINE）为\n。

create external table ext (id int, name char(20)) location ('gpfdist://gp_init:9000/data.csv') format 'csv';insert into a select * from ext;create external table ext2 (id int, name char(20)) location ('gpfdist://gp_init:9000/data.csv', 'gpfdist://gp_init:9000/data2.csv') format 'csv';create external table ext6 (id int, name char(20)) location ('gpfdist://gp_init:9000/data*.csv') format 'csv';create external table ext7 (id int, name char(20)) location ('gpfdist://gp_init:9000/data.csv', 'gpfdist://gp_init:9001/data2.csv') format 'csv';

查看数据文件与外部表

数据文件的内容

[root@gp_init gpfdist]# cat data.csv 
0, asdfghjkl;
1, asdfghjkl;
[root@gp_init gpfdist]# cat data2.csv 
0, asdfghjkl;
1, asdfghjkl;

查询外部表

postgres=# select * from ext;id |         name         
----+----------------------0 |  asdfghjkl;         1 |  asdfghjkl;         
(2 rows)postgres=# select * from ext2;id |         name         
----+----------------------0 |  asdfghjkl;         1 |  asdfghjkl;         0 |  asdfghjkl;         1 |  asdfghjkl;         
(4 rows)postgres=# select * from ext6;id |         name         
----+----------------------0 |  asdfghjkl;         1 |  asdfghjkl;         0 |  asdfghjkl;         1 |  asdfghjkl;         
(4 rows)postgres=# select * from ext7;id |         name         
----+----------------------0 |  asdfghjkl;         1 |  asdfghjkl;         0 |  asdfghjkl;         1 |  asdfghjkl;         
(4 rows)

1.2、使用 pipe管道创建只读外部表示例

只读外部表
gpfdist 支持从管道中读取数据流。

创建一个管道

[root@gp_init gpfdist]# mkfifo gpfdist_pipe

往管道里填写数据

cat data.csv  >  gpfdist_pipe

创建外部表

create external table ext_pipe(id int, name varchar(30))
location ('gpfdist://gp_init:9000/gpfdist_pipe')
format 'csv';

查询外部表

postgres=# select * from ext_pipe ;id |    name     
----+-------------0 |  asdfghjkl;1 |  asdfghjkl;

2、创建可写外部表

2.1、使用csv 文件创建可写外部表示例

目前可写的外部表只支持 gpfdist 协议。

CREATE WRITABLE EXTERNAL [TEMPORARY | TEMP] TABLE table_name( column_name data_type [, ...] | LIKE other_table )LOCATION('gpfdist://outputhost[:port]/filename[#transform=trans_name]'[, ...])| ('gpfdists://outputhost[:port]/file_pattern[#transform=trans_name]'[, ...])FORMAT 'TEXT' [( [DELIMITER [AS] 'delimiter'][NULL [AS] 'null string'][ESCAPE [AS] 'escape' | 'OFF'] )]| 'CSV'[([QUOTE [AS] 'quote'] [DELIMITER [AS] 'delimiter'][NULL [AS] 'null string'][FORCE QUOTE column [, ...]] | * ][ESCAPE [AS] 'escape'] )]| 'CUSTOM' (Formatter=<formatter specifications>)[ ENCODING 'write_encoding' ][ DISTRIBUTED BY ({column [opclass]}, [ ... ] ) | DISTRIBUTED RANDOMLY ]

创建可写外部表

create writable external table extw (id int, name char(20)) location ('gpfdist://gp_init:9000/data.csv')format 'csv';create writable external table extw2 (id int, name char(20)) location ('gpfdist://gp_init:9000/data.csv', 'gpfdist://gp_init:9000/data2.csv') format 'csv';create writable external table extw3 (id int, name char(20)) location ('gpfdist://gp_init:9000/data.csv', 'gpfdist://gp_init:9001/data2.csv') format 'csv';

插入数据

postgres=# create table abc(id int, name char(20));
postgres=# insert INTO abc select * from ext;
postgres=# select count(*) from abc;count  
--------100000
(1 row)-- 写入文件
-- 基本上是会把数据平局分给各个文件里。
postgres=# insert INTO extw select * from abc ;
INSERT 0 100000
[root@gp_init gpfdist]# wc -l data.csv 
100000 data.csvpostgres=# insert INTO extw2 select * from abc ;
INSERT 0 100000
[root@gp_init gpfdist]# wc -l data.csv  data2.csv 50171 data.csv49829 data2.csv100000 totalpostgres=# insert INTO extw3 select * from abc ;
INSERT 0 100000
[root@gp_init gpfdist]# wc -l data.csv  data2.csv 50135 data.csv49865 data2.csv100000 total

2.2、使用 pipe管道创建可写外部表示例

创建可写外部表

create writable external table extw4 (id int, name char(20)) location ('gpfdist://gp_init:9000/gpfdist_pipe') format 'csv';

-- 执行写入操作
postgres=# insert INTO extw4 select * from abc;
[root@gp_init opt]# bash read.sh gpfdist_pipe 
100000

主要函数代码解析

1、main

  • gpfdist_init ：所有的处理都是在 gpfdist_init 函数中。
  • gpfdist_run：只有一个 event_dispatch。

2、gpfdist_init

  • 命令行输入参数解析：parse_command_line。
  • 注册信号处理signal_register：对信号的处理。捕获 SIGTERM 信号，设置最高优先级，注册 process_term_signal 回调函数，在回调函数中，关闭所有 socket 后，退出。
  • http服务配置http_setup：
    • 先根据配置的端口，获取地址信息，然后对地址进行端口绑定。这里获取的地址信息包含两个：ipv4 地址 和 ipv6 地址。gpfdist 优先使用ipv6进行绑定，因为IPv6的监听套接字能够同时监听v4客户端和v6客户端。
    • 遍历所有可用的套接字，设置监听事件：EV_READ | EV_PERSIST（持久属性），设置优先级，并绑定回调函数：do_accept。可用套接字个数保存在 gcb.listen_sock_count 中，可用的 socket 保存在 gcb.listen_socks 数组中。
    • do_accept：对请求进行 accept，记录了自己 accept 产生的 socket（r->sock），client 的 port（r->port），并对socket设置一些属性，例如：keepalive、reuseaeddr 等。
    • 并调用 setup_read 设置read事件。
      • setup_read设置可读事件的回调函数：do_read_request，并判断该请求中是否带 timeout 参数：
        • 如果没带 timeout 参数，则是普通请求，不需要设置 timeout。
        • 如果带 timeout 参数，则是超时事件，需要重新设置超时参数。
  • 看门狗初始化：watchdog_thread。

3、do_read_request
如果是超时事件，则直接发送http_end，后续会关闭连接。
读取socket，如果是返回0，发送 http_end。

  • gnet_parse_request ：解析出请求的方法，以及后面跟的参数
  • request_validate ：检测请求参数是否正确：必须是GET或POST，且使用协议必须是 HTTP/1.xx。
  • percent_encoding_to_char ：检测path中的字符是否存在 %XX 的格式，如果有，则转化为 char 类型的字符。
    如果 path 为 “/gpfdist/status”，则直接返回 send_gpfdist_status。（该请求作为 debug 使用）
  • request_set_path： 将 path 相对路径转换为绝对路径。
  • request_parse_gp_headers：解析 header 中的信息，比如 xid / cid / sn / segcount / csvopt 等。
  • request_set_transform ： 执行 transform 转换。
  • session_attach：根据文件名和 TID (由 xid/cid/sn 生成) 创建一个会话，对文件的处理都在会话中处理。根据 tid 和 path 组成 key，从 hash 表中获取该 session，如果没有则进行创建。如果 session 中没获取到 fstream，则直接返回错误。
    如果是 GET，则通过 handle_get_request 函数增加写事件监听（被监听的 fd 是在 do_accept 函数中 accept的 fd），如果是 POST，则调用 handle_post_request 函数。
  • do_write：
    • 1、如果上次读取的数据，都已经发送完成了（通过 block_t 里面的 bot == top 来判断），则再通过 session_get_block 读取一个 block。
    • 2、如果 gp_proto 的协议号为 1，则调用 local_send：发送头部数据，即 blockhdr_t 中的 hbyte
    • 3、调用 local_send：再发送真正的数据，即 block_t 中的 data
    • 4、通过 setup_write，再次添加当前 fd 的写事件

数据读取示意图

在这里插入图片描述
学习记录，原文

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/115638.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【局部活动轮廓】使用水平集方法实现局部活动轮廓方法研究（Matlab代码实现）

【局部活动轮廓】使用水平集方法实现局部活动轮廓方法研究（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…
阅读更多...
uni-app:允许字符间能自动换行（英文字符、数字等）

uni-app:允许字符间能自动换行（英文字符、数字等）

<template><view class"container"><!-- 这里是你的文本内容 -->{{ multilineText }}</view> </template><style> .container {word-break: break-all; } </style>例如&#xff1a; <template><view class"…
阅读更多...
三、定长内存池

三、定长内存池

三、定长内存池 我们知道申请内存使用的是malloc&#xff0c;malloc其实就是一个通用的大众货&#xff0c;什么场景下都可以使用&#xff0c;而什么场景下都可以用就意味着什么场景下都不会有很高的性能&#xff0c;下面我们就先来设计一个定长内存池作为一个开胃菜&#xff0…
阅读更多...
华为云服务

华为云服务

【计算】 【存储】 对象存储服务 OBS 对象存储服务&#xff08;Object Storage Service&#xff0c;OBS&#xff09;是一个基于对象的海量存储服务&#xff0c;为客户提供海量、安全、高可靠、低成本的数据存储能力。 OBS系统和单个桶都没有总数据容量和对象/文件数量的限制…
阅读更多...
【爬虫】实验项目二：模拟登录和数据持久化

【爬虫】实验项目二：模拟登录和数据持久化

目录 一、实验目的 二、实验预习提示 三、实验内容 实验要求 基本要求&#xff1a; 改进要求A&#xff1a; 改进要求B&#xff1a; 四、实验过程 基本要求&#xff1a; 源码如下&#xff1a; 改进要求A: 源码如下&#xff1a; 改进要求B&#xff1a; 源码如下&…
阅读更多...
【日积月累】后端刷题日志

【日积月累】后端刷题日志

刷题日志 说说对Java的理解JAVA中抽象类和接口之间的区别Java中的泛型 和equals()的区别八种基本数据类型与他们的包装类在一个静态方法内调用一个非静态成员为什么是非法的静态方法与实例方法有何不同重载与重写深拷贝浅拷贝面向过程与面向对象成员变量与局部变量Spring框架Sp…
阅读更多...
Linux环境变量

Linux环境变量

文章目录 &#x1f950;1. 认识环境变量&#x1f956;1.1 PATH&#x1f956;1.2 HOME&#x1f956;1.3 查看环境变量 &#x1f96f;2. 什么是环境变量&#x1f356;3. 命令行参数&#x1f354;4. 本地变量 && 内建命令 &#x1f950;1. 认识环境变量 如果学过JAVA、My…
阅读更多...
MySQL binlog的几种日志录入格式以及区别

MySQL binlog的几种日志录入格式以及区别

&#x1f3c6;作者简介&#xff0c;黑夜开发者&#xff0c;CSDN领军人物&#xff0c;全栈领域优质创作者✌&#xff0c;CSDN博客专家&#xff0c;阿里云社区专家博主&#xff0c;2023年6月CSDN上海赛道top4。 &#x1f3c6;数年电商行业从业经验&#xff0c;历任核心研发工程师…
阅读更多...
进程的挂起状态

进程的挂起状态

进程的挂起状态详解 当我们谈论操作系统和进程管理时&#xff0c;我们经常听到进程的各种状态&#xff0c;如“就绪”、“运行”和“阻塞”。但其中一个不那么常被提及&#xff0c;但同样重要的状态是“挂起”状态。本文将深入探讨挂起状态&#xff0c;以及为什么和在何时进程…
阅读更多...
layui框架学习（42：文件上传模块-上）

layui框架学习（42：文件上传模块-上）

之前学习asp.net core编程入门教程时结合layui测试过文件上传《基于ASP.Net Core和Layui的多文件上传》&#xff0c;但没有认真学习过layui的文件上传模块&#xff0c;本文开始&#xff0c;计划分两章学习并记录文件上传模块中的属性、事件及函数的使用方法。   layui中的文件…
阅读更多...
el-date-picker限制选择的时间范围

el-date-picker限制选择的时间范围

<el-date-pickersize"mini"v-model"dateTime"value-format"yyyy-MM-dd HH:mm:ss"type"datetimerange"range-separator"~"start-placeholder"开始日期"end-placeholder"结束日期":picker-options&quo…
阅读更多...
mfc140u.dll丢失如何修复？解析mfc140u.dll是什么文件跟修复方法分享

mfc140u.dll丢失如何修复？解析mfc140u.dll是什么文件跟修复方法分享

大家好&#xff01;今天&#xff0c;我将和大家分享一下关于计算机中mfc140u.dll丢失的6种解决方法。希望我的分享能对大家在计算机使用过程中遇到问题时提供一些帮助。 首先&#xff0c;我想请大家了解一下什么是mfc140u.dll文件。mfc140u.dll是一个动态链接库文件&#xff0…
阅读更多...
C++中基类和派生类的析构函数

C++中基类和派生类的析构函数

和构造函数类似&#xff0c;析构函数也不能被继承。与构造函数不同的是&#xff0c;在派生类的析构函数中不用显式地调用基类的析构函数&#xff0c;因为每个类只有一个析构函数&#xff0c;编译器知道如何选择&#xff0c;无需程序员干涉。 另外析构函数的执行顺序和构造函数的…
阅读更多...
Docker consul容器服务自动发现和更新

Docker consul容器服务自动发现和更新

目录 一、什么是服务注册与发现 二、Docker-consul集群 1.Docker-consul 2.registrator 3.Consul-template 三、Docker-consul实现过程 四、Docker-consul集群配置 1.下载consul服务 2.web服务器启动多例nginx容器&#xff0c;使用registrator自动发现 3.使用…
阅读更多...
opencv案例06-基于opencv图像匹配的消防通道障碍物检测与深度yolo检测的对比

opencv案例06-基于opencv图像匹配的消防通道障碍物检测与深度yolo检测的对比

基于图像匹配的消防通道障碍物检测 技术背景 消防通道是指在各种险情发生时&#xff0c;用于消防人员实施营救和被困人员疏散的通道。消防法规定任何单位和个人不得占用、堵塞、封闭消防通道。事实上&#xff0c;由于消防通道通常缺乏管理&#xff0c;导致各种垃圾&#xff0…
阅读更多...
linux上vscode中.cpp文件中引入头文件.hpp时报错：找不到头文件（启用错误钵形曲线）

linux上vscode中.cpp文件中引入头文件.hpp时报错：找不到头文件（启用错误钵形曲线）

当在.cpp文件中引入系统给定的头文件时&#xff1a;#include < iostream > 或者引入自定义的头文件 &#xff1a;#include <success.hpp> 报错&#xff1a;找不到相应的头文件&#xff0c;即在引入头文件的改行底下标出红波浪线 解决方法为&#xff1a; &#…
阅读更多...
【LeetCode算法系列题解】第11~15题

【LeetCode算法系列题解】第11~15题

CONTENTS LeetCode 11. 盛最多水的容器&#xff08;中等&#xff09;LeetCode 12. 整数转罗马数字&#xff08;中等&#xff09;LeetCode 13. 罗马数字转整数&#xff08;简单&#xff09;LeetCode 14. 最长公共前缀&#xff08;简单&#xff09;LeetCode 15. 三数之和&#xf…
阅读更多...
渗透测试漏洞原理之---【XSS 跨站脚本攻击】

渗透测试漏洞原理之---【XSS 跨站脚本攻击】

文章目录 1、跨站 脚本攻击1.1、漏洞描述1.2、漏洞原理1.3、漏洞危害1.4、漏洞验证1.5、漏洞分类1.5.1、反射性XSS1.5.2、存储型XSS1.5.3、DOM型XSS 2、XSS攻防2.1、XSS构造2.1.1、利用<>2.1.2、JavaScript伪协议2.1.3、时间响应 2.2、XSS变形方式2.2.1、大小写转换2.2.2…
阅读更多...
【c语言】结构体内存对齐，位段，枚举，联合

【c语言】结构体内存对齐，位段，枚举，联合

之前学完结构体&#xff0c;有没有对结构体的大小会很疑惑呢&#xff1f;&#xff1f;其实结构体在内存中存储时会存在内存对齐&#xff0c;捎带讲讲位段&#xff0c;枚举&#xff0c;和联合&#xff0c;跟着小张一起学习吧 结构体内存对齐 结构体的对齐规则: 第一个成员在与结…
阅读更多...
计算机视觉-LeNet

计算机视觉-LeNet

目录 LeNet LeNet在手写数字识别上的应用 LeNet在眼疾识别数据集iChallenge-PM上的应用 LeNet LeNet是最早的卷积神经网络之一。1998年&#xff0c;Yann LeCun第一次将LeNet卷积神经网络应用到图像分类上&#xff0c;在手写数字识别任务中取得了巨大成功。LeNet通过连续使用…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023