终于定了,小海豚再度牵手数据湖三剑客之一 Apache Hudi社区!

王昱翔,活动组织者

社区 Contributor

读完需要

10

分钟

🌟 随着大数据技术的快速发展,数据调度、数据湖的构建和数据存储变得越来越重要。数据处理的复杂性、分布式环境下的数据调度问题、PB级别数据入湖的实践、记录级索引的应用等,都已经成为了大数据工程师面临的关键问题。

🎯在大数据的海洋中,如何寻找到最有效的调度工具,最实用的数据入湖实践,最深入的记录级索引应用呢?为了帮助大数据工程师们寻找到最适合自己的解决方案,Apache DolphinScheduler 联合 Apache Hudi社区特别策划了一场“杭州”的线下Meetup。

35cab6e00de3497335f9451113694bc1.png

📅6月17日,为了让这次技术活动更加丰富,我们还额外邀请了Apache SeaTunnel和 PostgreSQL社区的开发者和专家老师来进行探讨交流!期待碰撞出更激烈的技术火花~

🌟本次活动还邀请了来自阿里云、阿里巴巴、政采云、恒生电子、白鲸开源等业内资深专家和社区的大佬为大家带来精彩的主题演讲,他们将以最前沿的视角,带领我们探索大数据的最新技术趋势,解析实际工作中遇到的难题,并分享他们在这些问题上的独到见解和实践经验。

4724c7cddb689acbb497e6c85c1d5298.png

报名通道

Apache DolphinScheduler & Hudi 联合Meetup 杭州站——《大数据调度与存储优化实践》线下活动报名通道已开启,赶快预约吧!

时间:2023-6-17 13:00-17:00

形式:线下活动

地址:杭州市未来科技城·海创园7幢1楼谐云

扫描报名二维码/点击阅读原文链接立即报名(免费)

785a9df3943ed37532399c8cfdf67a6c.png

扫码预约报名

扫描报名二维码进杭州大数据活动交流群(免费):

133e1ba58c2db71809c0f0f530a205e8.png

扫码进群

🔥活动看点

1️⃣ 大咖云集:来自 Apache DolphinScheduler、 Hudi、 SeaTunnel 及 PostgreSQL等开源项目的核心开发者和应用实践者,这将是一次难得的学习和交流机会。🎤

2️⃣ 实践案例分享:你将有机会听到来自行业的实战案例分享,这些实践经验将帮助你了解如何解决实际工作中的问题,如何优化你的数据处理流程。👩‍💻👨‍💻

3️⃣ 源码剖析:深度剖析DolphinScheduler RPC源码,帮助你理解其内部运行机制,提升你的开发技巧和效率。💻

4️⃣ 最新技术展示:Apache Hudi的记录级索引应用,PolarDB PostgreSQL版的安全特性,SeaTunnel基于SQL的Transform plugin实现等,让你领略最前沿的大数据技术。🔬

5️⃣ 交流与Networking:这不仅是一场学习的盛宴,也是一次与大数据行业内的专家、同行交流的机会。你可以在这里找到志同道合的伙伴,共同探讨大数据的未来。🤝

6️⃣ 精彩的互动环节:抽奖环节和集体合影,不仅可以带走实用的知识,也可以带走美好的回忆。📸🎁

📅往下滑了解活动的具体时间、地点和议程。📌(本次活动不设直播

2ac0284fb5d9f4df5ccb1f114b6a5b2f.png

李进勇

Apache DolphinScheduler PMC

议题:聚焦调度,DolphinScheduler 2.0.9 让调度不再是痛点

🔍 Apache DolphinScheduler在2.0.x系列版本的迭代中,初衷是让工作流调度更加纯粹,以应对极限工况下的挑战。自2.0.5版本以来,经历了数次关键的内核升级,在政采云生产环境中每日处理8000+的批量任务,半年来保持零故障。在此次分享中,将围绕2.0.x的重要迭代,分享踩过的坑以及生产调优经验。

2dd8966519fb0cc078655cae96ff65e6.png

符其军

阿里云开发工程师

议题:阿里云AnalyticDB基于Hudi实现PB级别数据入湖实践

🔍 原生数据仓库AnalyticDB MySQL湖仓版(3.0)(简称ADB湖仓版)可以帮助企业快速构建从湖到仓一体化技术架构,使用低成本离线处理能力完成数据的清洗加工,使用高性能在线分析引擎完成数据的洞察探索。本次演讲将介绍ADB湖仓版基于Hudi实现PB级别数据入湖的实践。

aedb4749c24dd28391159c12200ebcd7.png

吴小飞

DolphinScheduler贡献者

议题:深度解析海豚调度 RPC 源码和二开实战案例

🔍 作为新一代DAG调度平台,DS优秀的业务工作流编排和大数据环境作业调度能力受到了广泛的赞誉。其中,独特的master-worker双层调度设计通过RPC进行衔接,这就使得RPC的核心架构设计和流程剖析显得尤为重要。在本次分享中,将深入剖析RPC的设计原理,以助大家对相似架构有更清晰的理解,同时也将分享如何在DolphinScheduler中进行二次开发,以满足新增业务场景下的组件或插件需求。让我们一同探索DolphinScheduler的深度应用,赋能大数据调度的可能性!

23cfcff22911c60bbbe15cb8707fca4f.jpeg

许世彦

Apache Hudi PMC

议题:Apache Hudi:探索记录级索引的应用与优势

🔍 Apache Hudi是一个高效的大数据存储方案,其核心特性之一就是能够提供记录级的索引服务。这一特性让数据处理更加精确,帮助开发者和数据分析师在海量数据中迅速定位所需信息。在本次分享中,我们将详细解析Hudi的记录级索引机制,探讨其实现原理、效果以及应用场景

893de4383f0b50a288df446ec8a18dc3.jpeg

马骋原

恒生电子大数据技术专家

议题:Apache SeaTunnel基于SQL的Transform plugin实现

🔍 Apache SeaTunnel SQL Transform plugin 是一个基于SQL解析、生成物理执行计划并执行的转换层SQL引擎插件,实现了小T的能力:涵盖了大部分常用的字符串、数字、时间类SQL函数;支持条件过滤;支持UDF等多种功能。能够同时无缝运行在Zeta,Spark,Flink引擎之上。

f610789db1dffa715b60394dd1d7dccf.jpeg

宋宏宇

阿里云研发工程师

议题:PolarDB PostgreSQL版安全特性解读

🔍 PolarDB PostgreSQL 版在存储计算分离架构下,为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。本次分享主要解读 PolarDB PostgreSQL 版安全特性,包括访问安全、传输安全、数据安全、行级访问控制、数据脱敏以及安全审计原理及使用。

🚆交通指引

自驾指引:

如果你选择自驾车,可以将目的地设置为"杭州市未来科技城·海创园7幢1楼谐云",然后按照导航系统的指引前往。

公共交通指引:

🚌 公交:你可以乘坐公交路线309、350路、351路、354路、361路、370路、822路等,到达"海创园"站下车,向南步行约5分钟即可到达目的地。

🚄 火车:如果你从杭州火车站出发,可以先乘坐地铁1号线到"城站",然后换乘公交309路,到"海创园"站下车,向南步行约5分钟即可到达目的地。

✈️ :如果你从杭州萧山国际机场出发,可以乘坐机场大巴至杭州火车站,然后参照上述火车站的交通指引前往目的地。

以上都只是参考路线,具体交通方式可能会因实际情况而有所不同。建议你在出发前,根据自身情况查询最合适的路线,并预留足够的时间以防万一。

希望以上信息能够帮助您顺利抵达我们的活动现场。如果您在前往过程中遇到任何问题,都可以随时向我们求助。

地图图示:

欢迎大家参加6月17日  DolphinScheduler & Hudi 联合 Meetup 杭州站 ,下午13:00,我们不见不散。

🎉让我们在这个夏日,共同见证大数据的力量,解锁大数据的无限可能!限时报名,名额有限,先到先得!

一起加入我们,与大数据的先驱们碰撞思想,探寻未知的可能!期待在杭州与您相聚,共同探索大数据的新征程!

社区介绍

Community

Apache DolphinScheduler 是一个云原生并带有强大可视化界面的大数据工作流调度平台,致力于让调度变得更加容易,已在 3000+ 家公司的生产环境上稳定运行。身为一款专门针对于大数据平台的工作调度系统,具有本土化风格和多样化的部署方式。同时,Apache DolphineScheduler还拥有十分活跃的社区与定期的交流会。

Apache Hudi 是新一代流式数据湖平台,支持插入、更新、删除以及增量数据处理;可助力构建高效的企业级数据湖,目前已经在国内外多个大型公司生产落地。

Apache SeaTunnel 是一个云原生的高性能海量数据集成平台。中国时间 2023 年 6 月 1 日, SeaTunnel正式成为 Apache顶级项目,这也是 Apache 基金会中第一个诞生自中国的数据集成平台项目。目前,SeaTunnel 在GitHub 上Star 数达 4.9k+,社区达到5000+人规模。

PostgreSQL中文社区是一个非盈利的民间组织,目前成员都以志愿者身份加入,成立的目的在于构建PG数据库技术生态圈子(内核、用户、培训机构、厂商、服务商、软件开发商、高校形成“业务与利益双向驱动”的良性发展生态圈);帮助企业解决人才培养和企业商用数据库成本问题,社区会在各运营平台发布PostgreSQL最新信息和PostgreSQL相关技术文章,推动PG技术在中国的发展。

致谢

ad2a0901bfd39b2ce859cedf60762670.png

参与贡献

随着国内开源的迅猛崛起,DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

743ade29289b3311dfc90afadad2fea4.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

6ccc452f0150b2bf864ce94b899c9763.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

a35c8ba614a834b9923b496cc45ba5df.jpeg

添加社区小助手微信(Leonard-ds) 

添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

< 🐬🐬 >

更多精彩推荐

☞Apache DolphinScheduler 发布 3.1.7 版本,修复 SeaTunnel 任务保存错误

☞优秀用户案例有奖征集 | 活动火热开启,快来投稿!

☞用一杯星巴克的钱,训练自己私有化的ChatGPT

☞运维实战:Apache DolphinScheduler 生产环境升级

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

☞企业级应用如何用 Apache DolphinScheduler 有针对性地进行告警插件开发?

☞CommunityOverCode Asia 2023 强势来袭!15 大专题议题征集 6 月 6 日截止

点击阅读原文火速报名c8774c4b5c8f1268d951e6ab5b0e3215.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/69348.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PDF文档工具箱Stirling-PDF

什么是 Stirling-PDF ? Stirling-PDF 是一个本地托管的 Web 应用程序&#xff0c;允许您对 PDF 文件执行各种操作&#xff0c;例如拆分和添加图像。 软件的功能特点&#xff1a; 将 PDF 拆分为指定页码的多个文件&#xff0c;或将所有页面提取为单个文件;将多个 PDF 合并为一…

Qt常用的按钮控件编程(三)-- QRadioButton 按钮

文章目录 前言5、QRadioButton 按钮5.1 例程功能和程序执行效果5.1.1 例程功能5.1.2 程序执行效果 5.2 生成项目5.3 添加资源文件5.3.1 添加图片资源5.3.2 添加 qss 文件 5.4 完成代码编辑5.4.1 修改项目文件 _radiobutton.pro5.4.2 修改 main.cpp5.4.3 修改 widget.h5.4.4 修改…

第五届“泰迪杯”数据分析技能赛

为推广我国高校数据分析实践教学&#xff0c;培养学生数据分析的应用和创新能力&#xff0c;增加校企交流合作和信息共享&#xff0c;提升我国高校的教学质量和企业的竞争能力&#xff0c;“泰迪杯”数据分析技能赛&#xff08;以下简称竞赛&#xff09;于2022年9月开始报名。竞…

【2月比赛合集】55场可报名的数据挖掘奖金赛,任君挑选!

CompHub 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…&#xff09;比赛。本账号同时会推送最新的比赛消息&#xff0c;欢迎关注&#xff01; 更多比赛信息见 CompHub主页 或 点击文末阅读原文 以下信息仅供参考&#xff0c;以比赛官网为准 目录 Kaggle&…

【1月比赛合集】41场可报名的数据挖掘奖金赛,任君挑选!

CompHub 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…&#xff09;比赛。本账号同时会推送最新的比赛消息&#xff0c;欢迎关注&#xff01; 更多比赛信息见 CompHub主页 或 点击文末阅读原文 以下信息仅供参考&#xff0c;以比赛官网为准 目录 Kaggle&…

【3月比赛合集】45场可报名的数据挖掘奖金赛,任君挑选!

CompHub 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…&#xff09;比赛。本账号同时会推送最新的比赛消息&#xff0c;欢迎关注&#xff01; 更多比赛信息见 CompHub主页 或 点击文末阅读原文 以下信息仅供参考&#xff0c;以比赛官网为准 目录 Kaggle&…

第五届“泰迪杯”数据分析技能赛 经验代码分享

第五届“泰迪杯”数据分析技能赛 经验/代码分享 品牌&#xff1a;“泰迪杯”数据分析技能赛 组织单位&#xff1a;泰迪杯数据分析技能赛组织委员会、广东泰迪智能科技股份有限公司、广东省工业与应用数学学会、人民邮电出版社、北京泰迪云智信息技术研究院、网宿科技股份有限…

奥运会数据分析

本项目将会从以下角度来呈现奥运会历史&#xff1a; 1、&#x1f3c6;各国累计奖牌数&#xff1b; 2、⚽️各项运动产生金牌数 3、⛳️运动员层面 参赛人数趋势 女性参赛比例趋势 获得金牌最多的运动员 获得奖牌/金牌比例 各项目运动员平均体质数据 4、主要国家表现 &am…

数据分析案例-往届世界杯数据可视化

目录 1.引言 2.项目简介 2.1数据集介绍 2.2技术工具 3.数据可视化 3.1往届世界杯获奖国家TOP5 3.2往届世界杯比赛数据情况 3.3往届世界杯观众人数情况 3.4往届世界杯主办方情况 3.5往届世界杯冠军队情况 1.引言 足球是世界上非常受欢迎的运动之一&#xff0c;在全球…

还在开发短信验证码登录?试试(本机号码一键登录)

点击上方蓝字关注我们 技术总监面试&#xff0c;提问&#xff1a;Redis热点key解决方案 一、 关于秒验&#xff08;一键登录&#xff09;基本原理 秒验&#xff08;一键登录&#xff09;产品整合了三大运营商特有的数据网关认证能力&#xff0c;升级短信验证码体验&#xff0c;…

模拟验证码发送

目录 一&#xff0e;模拟验证码发送 1.输入手机号&#xff0c;点击发送随机生成6位数字码&#xff0c; 2.两分钟内有效&#xff0c;把验证码放入Redis里面&#xff0c;设置过期时间为120秒 3.判断验证码是否符合一致&#xff0c;从Redis获取验证码和输入的验证码进行比较 4…

打造抖音爆款脚本文案,让你分分钟钟上热门涨粉。

要想在抖音里面占据一席之地,运营者必须具备基本的短视频脚本创作能力。 有的人,为了一个创意能想上一天;而有的人,通过一些技巧,延伸出无数个好的想法。 那么优质的短视频脚本的创意又是从何而来的呢?猫哥告诉你短视频脚本文案要怎么写。 如果你本身是做文案工作的,…

1062 Talent and Virtue (25 分)排序(水题)

题目 About 900 years ago, a Chinese philosopher Sima Guang wrote a history book in which he talked about people’s talent and virtue. According to his theory, a man being outstanding in both talent and virtue must be a “sage&#xff08;圣人&#xff09;”…

PAT甲级 1011 World Cup Betting (20 分) 题解

\quad 这个题难在题意理解上面&#xff0c;说白了就是给你九个数&#xff0c;三个一组&#xff0c;找出一组中最大的数字并记录下这个数所属类别(W,T,L)。一行是一组。最后把每个组最大的数乘起来&#xff0c;乘0.65&#xff0c;再减去1&#xff0c;最后将所得结果乘2输出。即 …

day8 足球运动员分析

足球运动员分析 背景信息 当前&#xff0c;足球运动是最受欢迎的运动之一&#xff08;也可以说没有之一&#xff09;。 任务说明 我们的任务&#xff0c;就是在众多的足球运动员中&#xff0c;发现统计一些关于足球运动员的共性&#xff0c;或某些潜在的规律。 数据集描述…

The Most Common Habits from more than 200 English Papers written by Graduate Chinese Students

目录 定冠词/不定冠词的使用 a an the句子不要太长在段落开始直接陈述中心思想不要在段落开头直接使用时间状语从句将重要的主语放在最最开始以表示强调which/that所引导的定语从句的指代不明Respectively的使用有关in this paper/study数字‘Figure’ and ‘Table’‘such as’…

GPT系列的数据集之谜

文&#xff5c;Alan D. Thompson 源&#xff5c;OneFlow 译&#xff5c;杨婷、徐佳渝、贾川 半个月以来&#xff0c;ChatGPT这把火越烧越旺。国内很多大厂相继声称要做中文版ChatGPT&#xff0c;还公布了上线时间表&#xff0c;不少科技圈已功成名就的大佬也按捺不住&#xf…

Claude 2 解读 ChatGPT 4 的技术秘密:细节:参数数量、架构、基础设施、训练数据集、成本...

“ 解密 ChatGPT 4的模型架构、训练基础设施、推理基础设施、参数计数、训练数据集组成、令牌计数、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实施技术。” ‍‍‍‍ 01 — 最近偶然看到一份文档《GPT-4 Architecture, Infrastructure, Training Da…

Window的创建

Window的创建 上一篇说到了Window和WindowManager的关系并且讲述了WindowManager如何添加Window与Window内部的三个方法的实现 这篇主要讲几个常见的Window的创建比如Activity,Dialog和Toast 其中Activity属于应用Window Dialog属于子Window Toast属于系统Window z-order…

密码验证 长度八位包含字母数字特殊字符

View Code 1 #region 密码验证2 if (tbPassword.Text "")3 {4 CommonFunction.ShowMessage(this.Page, "密码不能为空");5 return;6 }7 …