ETL中如何执行Python脚本

Python的解读

Python 是一种高级、通用的编程语言,由荷兰程序员吉多·范罗苏姆(Guido van Rossum)于1990年代初设计并发布。Python的设计哲学强调代码的可读性和简洁性,它的语法清晰且表达力强,使得开发者能够以更少的代码行数表达复杂的概念。这使得Python成为了编程入门者的理想选择,同时也被专业开发者广泛用于快速开发各种应用程序。

Python作为一个胶水语言具有简单易学、高可读性、丰富强大的库与框架、跨平台支持、动态类型、广泛的社区支持、适用领域广泛,可以通过Python丰富的第三方库达到你想要的任意结果。而ETLCLoud连接python之后可以增加数据获取来源,也可以对数据进行自定义的清理和处理。

ETL中Python脚本使用和注意细节

配置抽取数据到Python脚本中然后修改最后输出的流程image

库表输入配置

选择完数据库和表之后,配置字段非必要配置内容

image

如果要配置点击下一步,sql语句可以自己添加条件

image

字段配置

image

Python命令要根据自己的Python选择,有的要填Python3。平台Python环境使用的是用户自身的Python环境,所以缺库少什么东西在自己本地下载安装就好。

image

脚本来源:当我们选择Python文件之后会显示"Python文件"的输入框,填写Python文件路径就好,不过下面也有提示,使用Python文件后,后面编写的Python脚本就没有用了

image

输入参数:这个主要是学习ETL参数的使用。一个是变量的设置,另一个是变量在节点获取方法。我简单说一下变量的使用方法,局部变量全局变量都是 局部变量 i d ∗ ∗ 这种方式引用的, ∗ ∗ 公共变量 ∗ ∗ 的使用是这样子的 ∗ ∗ {局部变量id}** 这种方式引用的,**公共变量**的使用是这样子的 ** 局部变量id这种方式引用的,公共变量的使用是这样子的{$config.变量id}

而我们的上一节点数据属于局部变量,以这个为例就算不输入${data},还是可以输出数据 。如果不是上一节点的数据就要保存到全局变量里然后设置变量参数image

返回数据编码:根据自己的编码来就行,不过要注意一点,之前有人反馈即使设置了utf-8和gbk输出的都是乱码,这就要注意设置Python命令了,这个时候设置一下Python3就好。具体根据自身Python版本来。

执行Python脚本

image

输出完成,系统转给Python的是个list。不一定所有的数据都是list,各位拿来用的时候可以先看一下

image

拿取数据演示

image

查看数据输出

image

总结

在ETLCloud中Python脚本使用的是你自己系统的环境,平台是不带Python环境的。Python命令填写,要根据自己版本来填写,如果不知道用哪个版本,就使用3.12版本,其他的就正常使用Python就行。在Python脚本里,可以根据自己的需要将数据加工成想要的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/323693.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【二分查找 滑动窗口】100257找出唯一性数组的中位数

本文涉及知识点 二分查找算法合集 C算法:滑动窗口总结 LeetCode 100257找出唯一性数组的中位数 给你一个整数数组 nums 。数组 nums 的 唯一性数组 是一个按元素从小到大排序的数组,包含了 nums 的所有非空子数组中不同元素的个数。 换句话说&#xf…

QAnything 在mac M2 上纯python环境安装使用体验(避坑指南)

这是一篇mac m2本地纯python环境安装 qanything的文章。安装并不顺利,官方提供的模型无法在本地跑。 这篇文章记录了,使用xinference来部署本地模型,并利用openAi的通用接口的方式,可以正常使用。 记录了遇到的所有的问题&#xf…

安全数据交换系统哪个好?该如何选型?

安全数据交换系统是用于在不同网络或组织之间安全、高效地传输和共享数据的解决方案。安全数据交换系统对于任何需要处理敏感数据、确保数据安全、并满足合规要求的组织来说都是至关重要的。 这种系统通常用于以下目的: 1)数据传输:允许用户…

Docker快速搭建NAS服务——NextCloud

Docker快速搭建NAS服务——NextCloud 文章目录 前言NextCloud的搭建docker-compose文件编写运行及访问 总结 前言 本文主要讲解如何使用docker在本地快速搭建NAS服务,这里主要写如下两种: FileBrowser1:是一个开源的Web文件管理器&#xff…

从0到1:低代码如何助力社会组织实现管理数字化

在数字化大时代,创业服务中心的数字化转型显得至关重要。数字化转型不仅是一个技术升级的过程,更是一个涉及业务模式、组织结构、服务方式等全方位的深刻变革。 随着信息技术的快速发展,数字化已经渗透到社会生活的各个领域,成为…

Docker笔记(七)使用Docker部署Spring Boot项目

本文介绍如何使用Docker打包并部署Spring Boot多模块项目。 其中本文涉及的Docker的私库是用Nexus3搭建的。 使用Docker部署Spring Boot项目有三种方式 (1)使用 spring-boot-maven-plugin内置的build-image. (2)使用 Google 的 j…

发票审核如何自查?报销没有发票,如何处理?

在财务管理中,发票是非常重要的一项凭证,是费用核算和税务申报的重要依据,但光靠发票入账可能会被定义为虚开。 一、费用报销审核必看的6个要点 1、票据与实际业务吻合 这是费用报销中最基本的常识,比如:采购一批物料&…

三、配置带HybridCLR的ARCore开发环境

预告 本专栏将介绍如何使用这个支持热更的AR开发插件,快速地开发AR应用。 专栏: Unity开发AR系列 插件简介 通过热更技术实现动态地加载AR场景,简化了AR开发流程,让用户可更多地关注Unity场景内容的制作。 “EnvInstaller…”支…

新能源汽车中HEV与PHEV分别代表什么车型,它们与传统燃油车都有什么区别?

前言 新能源汽车正逐渐成为全球汽车工业的主流方向,而HEV(Hybrid Electric Vehicle)和PHEV(Plug-in Hybrid Electric Vehicle)这两种混合动力车型在这一转型过程中扮演着重要角色。下面我们详细探讨HEV与PHEV的定义&a…

Pandas数据取值与选择

文章目录 第1关:Series数据选择第2关:DataFrame数据选择方法 第1关:Series数据选择 编程要求 本关的编程任务是补全右侧上部代码编辑区内的相应代码,要求实现如下功能: 添加一行数据,时间戳2019-01-29值为…

TC3xx MTU概述(2)

目录 1.概述 2.如何配置NDT 3.小结 1.概述 上篇TC3xx MTU概述(1)-CSDN博客我们讲解了MTU基本功能和MBIST基本概念,接下来我们继续讲解MTU如何配置NDT算法。 2.如何配置NDT 前面聊了那么多概念,我们还是来看看如何配置MTU来实现NDT。 MTU寄存器分为…

WireShark对tcp通信数据的抓包

一、抓包准备工作 安装wireshark sudo apt update sudo apt install wireshark 运行 二、WireShark工具面板分析 上图中所显示的信息从上到下分布在 3 个面板中,每个面板包含的信息含义如下: Packet List 面板:显示 Wireshark 捕获到的所…

window golang 升级版本

执行go tidy,发现执行不了,得升级一下版本了 进入官网,并选择合适的系统以及版本。https://go.dev/dl/ 这台电脑是windows,我本人比较喜欢下载zip自己解压。 解压,这里我选择直接覆盖原文件,需要保留原版…

Vue3自定义封装音频播放组件(带拖拽进度条)

Vue3自定义封装音频播放组件(带拖拽进度条) 描述 该款自定义组件可作为音频、视频播放的进度条,用于控制音频、视频的播放进度、暂停开始、拖拽进度条拓展性极高。 实现效果 具体效果可以根据自定义内容进行位置调整 项目需求 有播放暂停…

Pycharm 执行pytest时,会遇见某些case Empty suite

我这边的情况是有些case就是执行不了,百度了很多,有说设置选pytest的,有命名规范的,都没有成功。后面问了同事之后才发现,pytest 的框架,pytest.ini 执行的时候,加了个标签,主动把某…

天府锋巢直播产业基地构建成都电商直播高地

天府锋巢直播产业基地自成立以来,一直秉承着创新、协同、共赢的发展理念,吸引了众多直播企业纷纷入驻。随着直播产业的迅猛发展,改成都直播基地内的配套服务也显得尤为重要。本文将深入探讨入驻天府锋巢直播产业基地后,配套的直播…

【笔试训练】day23

一、打怪 思路 由于是先手攻击,如果一次攻击就能杀死小怪,那么说明可以为无限杀小怪。 再计算杀一只小怪要扣多少血就好了,再用总生命值去除这个扣血量,得到的就是最多杀死小怪的数量。注意,由于最后一定要活下来&am…

【Linux系统】进程控制

再次理解进程 进程:内核的相关管理数据结构(task_struct(进程控制块PCB),mm_struct(地址空间),页表) 代码和数据 那么如何理解进程具有独立性? 我们之前已经学习过进程控制块啊,地址空间啊,页表啊&…

爆爽,英语小白怒刷 50 课!像玩游戏一样学习英语~

重点!!!(先看这) 清楚自己学英语的目的, 先搞清楚目标,再行动自身现在最需要的东西:词汇量?口语?还是阅读能力?找对应的书籍,学习资料往兴趣靠拢:网上有大量的推荐美剧学习、小说学习,不要被他…

数据库调优-连接池优化

先贴下连接池的相关配置: 连接池参数配置: 字段含义Max Number of Connections最大连接数;做性能测试时,可以填 0 。在开发的项目中按实际代码填写,默认是 20 。Max Wait(ms)在连接池中取回连接最大等待时间&#xf…