【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件

1.一直以来想写下基于kettle的系列文章,作为较火的数据ETL工具,也是日常项目开发中常用的一款工具,最近刚好挤时间梳理、总结下这块儿的知识体系。
2.熟悉、梳理、总结下华为openGauss高斯数据库相关知识体系
3.欢迎批评指正,跪谢一键三连!

  • kettle访问华为openGauss高斯数据库并处理数据至execl文件文章目录索引如下所示:
    在这里插入图片描述
  • 【实操视频,辅助实操学习,跪谢一键三连!】【kettle006】kettle访问华为openGauss高斯数据库并处理数据至execl文件

1.环境搭建、配置

  • 1.0 实验环境信息
    • Windows 10
    • CentOS 7.1(虚拟机)
    • Docker version 26.0.2
    • Dbeaver
    • Kettle 8.2
    • openGauss 2.1.0
  • 1.1 openGauss docker镜像安装
    • 如果本地有openGauss,但拉取了镜像,请调整端口信息,端口已被占用
    • 如果遇到拉取镜像很慢的问题,可以参考 https://kngines.blog.csdn.net/article/details/138142888
    • 1.1.1 操作命令
      # 拉取opengauss镜像
      docker pull enmotech/opengauss:latest# 查看镜像
      docker image# 运行容器
      docker run --name opengauss --privileged=true -d -e GS_PASSWORD=Enmo@123 -p 8090:5432 enmotech/opengauss:latest# 查看容器
      docker ps -adocker exec -it opengauss sh# 切换用户
      su - omm# 数据库登录
      gsql# 查看数据库版本
      select version();# 查看数据库版权
      \copyright# 查看数据库
      \db# 查看所有数据库
      \l
      
    • 1.1.2 容器运行详情
      在这里插入图片描述

2.openGauss高斯数据库容器链接测试

  • 2.1 驱动信息配置、测试
    • 新建 驱动管理器数据库 --》 驱动管理器 --》 新建库 --》 添加GS-DWS驱动文件
      # 类名
      org.postgresql.Driver
      # URL 模板
      jdbc:postgresql://{host}[:{port}]/[{database}]
      
    • 配置详情示例图
      在这里插入图片描述
  • 2.2 驱动包下载及配置引入
    • 高斯数据库驱动包下载地址: https://dws.obs.myhuaweicloud.com/download/dws_8.2.x_jdbc_driver.zip
      • 华为高斯数据库驱动包官网地址: 下载JDBC或ODBC驱动
    • 引入详情如下图所示
      在这里插入图片描述
  • 2.3 DBeaver链接高斯数据库测试
    # 默认数据库,也可新建数据库,如本文新建 youli ;注意 即使数据库名包含大写,链接配置里面配置小写
    postgres
    # 用户名
    gaussdb
    # 本实验密码
    Enmo@123
    
    • 链接测试配置详情
      在这里插入图片描述
  • 2.4 建表建库测试SQL
    create database youli owner gaussdb;
    drop database youli;create table youli_testtable (    id int primary key,    name varchar(100),    age int,    grade varchar(10)
    );delete from youli_testtable;
    insert into youli_testtable values
    (1, 'youli', 12, '1班'),
    (2, '张三', 21, '2班'),
    (3, '张三', 22, '3班'),
    (4, '张三', 23, '4班'),
    (5, '张三', 13, '5班'),
    (6, '张三', 14, '6班'),
    (7, '张三', 15, '7班'),
    (8, '张三', 13, '8班'),
    (9, '张三', 16, '9班'),
    (10, '张三', 19, '10班');select * from youli_testtable;
    

3.kettle流程任务配置、效果验证

  • 3.1 将2.2下载的高斯数据库相应版本驱动包放到 kettlle lib 目录下,重启 kettle,进行链接测试
    在这里插入图片描述
  • 3.2 kettle链接高斯数据库容器环境测试结果
    在这里插入图片描述

4.参考文章

  • https://blog.csdn.net/jmshl/article/details/134578666
  • https://blog.csdn.net/AnillegalName/article/details/135764879
  • https://wenku.csdn.net/column/5tt62irjd2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/318571.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

浅论汽车研发项目数字化管理之道

随着汽车行业竞争不断加剧,汽车厂商能否快速、高质地推出贴合市场需求的新车型已经成为车企竞争的重要手段,而汽车研发具备流程复杂、专业领域多、协作难度大、质量要求高等特点,企业如果缺少科学健全的项目管理体系,将会在汽车研…

低空经济+飞行汽车:eVTOL技术详解

低空经济是以各种有人驾驶和无人驾驶航空器的各类低空飞行活动为牵引,辐射带动相关领域融合发展的综合性经济形态。它广泛体现于第一、第二、第三产业之中,在促进经济发展、加强社会保障、服务国防事业等方面发挥着日益重要的作用。 飞行汽车&#xff0c…

SpringBoot配置HTTPS及开发调试

前言 在实际开发过程中,如果后端需要启用https访问,通常项目启动后配置nginx代理再配置https,前端调用时高版本的chrome还会因为证书未信任导致调用失败,通过摸索整理一套开发调试下的https方案,特此分享 后端配置 …

“酒店涨价?火车票难求?看‘房贷自由族’如何玩转最燃五一“

今年五一,很可能是近几年旅游最疯狂的一年——虽然酒店价格狂飙好几倍,也抢不到火车票,人们却依然有着疯狂的出游和消费欲望。 ​最直接的原因大概是很多人离开了房贷,活明白了吧。就拿我身边的一些房奴们来说,已经陆…

大数据面试题 —— Spark数据倾斜及其解决方案

目录 1 调优概述2 数据倾斜发生时的现象3 数据倾斜发生的原理4 如何定位导致数据倾斜的代码4.1 某个 task 执行特别慢的情况4.2 某个 task 莫名其妙内存溢出的情况5 查看导致数据倾斜的 key 的数据分布情况6 数据倾斜的解决方案6.1 使用 Hive ETL 预处理数据6.2 过滤少数导致倾…

【Java EE】Mybatis之XML详解

文章目录 🎍配置数据库连接和MyBatis🍀写持久层代码🌸添加mapper接口🌸添加UserInfoXMLMapper.xml🌸单元测试 🌲CRUD🌸增(Insert)🌸删(Delete)🌸改(Update)🌸…

GaussDB数据库事务管理

一、引言 事务管理是数据库系统中至关重要的一部分,它确保了数据库的一致性和可靠性。在GaussDB数据库中,事务管理不仅遵循传统的ACID特性,还提供了一些高级功能。本文将深入探讨GaussDB数据库事务管理的各个方面。 二、事务的基本概念 2.1…

es环境安装及php对接使用

Elasticsearch Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的…

【小沐学Java】VSCode搭建Java开发环境

文章目录 1、简介2、安装VSCode2.1 简介2.2 安装 3、安装Java SDK3.1 简介3.2 安装3.3 配置 4、安装插件Java Extension Pack4.1 简介4.2 安装4.3 配置 结语 1、简介 2、安装VSCode 2.1 简介 Visual Studio Code 是一个轻量级但功能强大的源代码编辑器,可在桌面上…

FP16、BF16、INT8、INT4精度模型加载所需显存以及硬件适配的分析

大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…

让抖音引流更简单,利用自动评论引流策略

在当前的社会环境中,抖音已经成为了许多人日常生活中不可或缺的一部分。无论是年轻人还是中老年人,都对抖音充满了热情。然而,对于一些想要通过抖音变现的人来说,他们可能会感到困惑,不知道如何操作。今天,…

rust疑难杂症

rust疑难杂症解决 边碰到边记录,后续可能会逐步增加,备查 cargo build时碰到 Blocking waiting for file lock on package cache 原因是Cargo 无法获取对包缓存的文件锁, 有时vscode中项目比较多,如果其中某些库应用有问题&…

nginx--自定义日志跳转长连接文件缓存状态页

自定义日志服务 [rootlocalhost ~]# cat /apps/nginx/conf/conf.d/pc.conf server {listen 80;server_name www.fxq.com;error_log /data/nginx/logs/fxq-error.log info;access_log /data/nginx/logs/fxq-access.log main;location / {root /data/nginx/html/pc;index index…

golang 基础知识细节回顾

之前学习golang的速度过于快,部分内容有点囫囵吞枣的感觉,写gorm过程中有很多违反我常识的地方,我通过复习去修正了我之前认知错误和遗漏的地方。 itoa itoa自增的作用在编辑error code时候作用很大,之前编辑springboot的error c…

【JAVA基础之反射】反射详解

🔥作者主页:小林同学的学习笔录 🔥mysql专栏:小林同学的专栏 1.反射 1.1 概述 是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法; 对于任意一个对象,都能够调用它…

代码随想录算法训练营DAY43|C++动态规划Part5|1049.最后一块石头的重量II、494.目标和、474.一和零

文章目录 1049.最后一块石头的重量II思路CPP代码 494.目标和回溯算法抽象成01背包问题CPP代码本题总结 474.一和零思路CPP代码 1049.最后一块石头的重量II 力扣题目链接 文章链接:1049.最后一块石头的重量II 视频链接:这个背包最多能装多少?L…

成都旅游攻略

第一天 大熊猫基地(55一人) 切记要去早,否则只能看到熊猫屁股 文殊院(拜文殊菩萨) 杜甫草堂(50一人) 宽窄巷子(旅游打卡拍照) 奎星楼街吃晚饭 这里的饭菜很可口 第二天 东郊记忆(成都故事.川剧变脸)主要是拍照打卡 春熙路 IFS国金中心(打卡熊猫屁屁) 太…

Spring Boot中使用Redis和Lua脚本实现延时队列

码到三十五 : 个人主页 延时队列是一种常见的需求。延时队列允许我们延迟处理某些任务,这在处理需要等待一段时间后才能执行的操作时特别有用,如发送提醒、定时任务等。文中,将介绍如何在Spring Boot环境下使用Redis和Lua脚本来实…

【C++STL详解(五)】--------list的介绍与使用

目录 前言 一、list的介绍 二、list的使用 Ⅰ.默认成员函数 1、构造函数 2、赋值重载 3、析构函数 Ⅱ、容量 1.size() Ⅲ、迭代器与遍历 1.beginend (正向迭代器) 2.rbeginrend (反向迭代器) 3.front 4.back Ⅳ、增删查改 1.push_front 2.pop_front 3.push_b…

vue3 + ts 快速入门(全)

文章目录 学习链接1. Vue3简介1.1. 性能的提升1.2.源码的升级1.3. 拥抱TypeScript1.4. 新的特性 2. 创建Vue3工程2.1. 基于 vue-cli 创建2.2. 基于 vite 创建(推荐)vite介绍创建步骤项目结构安装插件项目结构总结 2.3. 一个简单的效果Person.vueApp.vue …