夜天之书 #98 Rust 程序库生态合作的例子

近期主要时间都在适应产品市场（Product Marketing）的新角色，不少想法还在酝酿和斟酌当中，于是文章输出没有太多时间来推敲和选题，只能保持每月发布相关的进展或一些零碎的思考。或许我可以恢复最早的模式，多做更新但是文章内容可能不会太过完整。

原本这一期想讨论的是 ASF 开源项目代码的所有权，以及开源软件变更协议的具体含义与操作方式。但是这个话题稍显枯燥，而且要把相关细节讲清楚，还需要继续斟酌。所以我改为采取把最近开始全职投入 Rust 开发，并接触相关生态发展和合作的经历做一点梳理，分享个人在其中的所见所闻。

我会从 Rust HTTP 库的生态切入，从最近一个大事件出发，即 Rust 采用范围最广的 HTTP 库 hyper 和 http 前后发布 1.0 版本，讲述其导致的整个 Rust 应用开发上下游牵一发而动全身的变化。

起因是我在整蛊 GreptimeDB HTTP 相关代码的时候，发现项目依赖的 axum 库是 0.6 版本，而上游是 0.7 版本。这天降的升级闲手，不升有点对不起自己了。通过解决升级过程中的问题，也能帮助摸清 GreptimeDB HTTP 模块的逻辑。

不过，我显然是小看了 Rust 生态荼毒甚广的 ZeroVer[1] 文化的威力。

ZeroVer 是一个揶揄的说法，即在采用语义化版本（SemVer[2]）的前提下，因为各种原因，项目迟迟不愿发布 1.0 版本。

29a90b7f85a0aa35353b64cf788788c1.png

0ver 的魅力时刻

在语义化版本中，0.x 版本是在项目正式发布或说进入稳定期前，一个相对动荡的快速迭代阶段。语义化版本的核心价值是告诉用户升级版本可能面临什么变化：

  • 升级补丁版本（Patch Version）：应当只有缺陷修复和性能提升等，不会破坏用户程序的改动。

  • 升级小版本（Minor Version）：可能包含新功能，应当向后兼容，用户应用应当可以顺滑升级。

  • 升级大版本（Major Version）：可能包含破坏性变更，用户需要做好应对逻辑甚至数据迁移的准备。

当然，在实践当中，语义化版本并不那么严格执行。尤其对于大型项目的实验性功能，是可能有一个独立的可靠机制的。但是无论如何，进入 1.0 之后就意味着项目对用户做了一个向后兼容的保证，除非升级大版本，否则用户会假设软件升级是可以非常激进的。

ZeroVer 方案的反面极端是 Apache Arrow 和 Apache DataFusion 每次发版都升级大版本的做法，很难评价。

  • build(deps): update datafusion to latest and arrow to 51.0[3]

  • build(deps): bump datafusion 20240528[4]

话说回来，axum 0.6 到 0.7 的版本升级是一个巨大的变更，基本把核心的类型设计做了一个颠覆，即 Body 不再是泛型了。

这其实也是一个槽点。国内开发者油条哥做的 Poem[5] 就不搞这些花里胡哨的泛型，直接用胖指针抹掉底下的差别，提供更好的开发体验。你说我都 HTTP 了，搞应用层接口开发了，我是跟你抠这点性能的人吗？

c928631d08a5809b17244ec7dcf29520.png

一个屏幕都写不完的 breaking changes 列表

34fa8303e1ac6fdc45d986b47d8b512a.png

Rust HTTP 生态泛型的魅力时刻

于是我着手升级 axum 的版本，一上来就是好几个屏幕的编译错误。没事，Rust 开发者的日常而已。

第一个小问题，我们依赖了 axum-test-helper 这个库，它没跟上 axum 0.7 的版本。我先试着给上游提 PR 升级：

  • feat: support axum 0.7[6]

未果。

自己维护比较头疼，其实只有一个文件，最后我在 GreptimeDB 里 vendor 掉了：

  • refactor: bundle the lightweight axum test client[7]

  • chore: respect axum test client's origin[8]

这里我又要吐槽了。axum 是不是哪里有问题，居然不提供测试套件，还要下游自己 embedded 然后去掉 (crate) 修饰词，好玩吗？虽然其实也是可以用 reqwest 套一个 TestClient 解决，按照上游的说法：“这只是很薄的一层”[9]，但是这么简单提升使用体验的事情，为何不做呢？

反观 Poem 就提供了 TestClient[10] 工具，开发起来舒服多了。不管是不是我一个文件就能解决，这不是下游应该解决的事情。

紧接着，发现 axum 自己的 TestClient 有落后，以及一个 Rust Nightly toolchain 的兼容问题，提 PR 解决：

  • Upgrade reqwest to 0.12[11]

  • Enable diagnostic attributes for Rust 1.78+[12]

Rust Nightly toolchain 的兼容问题是一个很奇妙的问题。因为 Nightly 顾名思义就是最新的 Rust 开发版本，不提供语义化版本保证，只是在 Rust 1.x 的时间线上大体向后兼容。但是结合上 Rust Stabilize 的流程，以及打开 feature gate 如果找不到 feature flag 就会编译失败等等细碎的问题，经常会导致生态在跟进 Nightly 之前有一个无法编译的窗口。

这不算是绝对的坏事，甚至推着生态跟新版本是合理的。但某种程度上其实是 Rust Stabilize 太慢，导致系统开发比如 GreptimeDB 不得不用 Nightly 版本，而出现的新问题。Rust 开发很多用 Nightly 版本，跟 0ver 可能也有某种互相呼应的巧合。在这种环境下，开发公共库并保持多平台多版本兼容，其实是一件非常困难的事情，怪不得都 0ver 了。

然后我就遇到了本次升级最大的大魔王。Rust 生态的 gRPC 库 tonic[13] 闪亮登场！

这里的依赖关系大概是这样的。

首先，axum 0.7 除了接口变化，还有一个关键的依赖变化是把 hyper 和 http 给升到了 1.0 上。因为 Rust HTTP 生态都依赖 hyper 和 http 这两个库，这就导致如果你的接口开始交互，那么所有的结构都要同步到同一个版本。

这个问题并不那么致命。因为如果你合理的 re-export 了依赖的接口，那么同一个 crate 的多个版本是可以共存的，就像我最近在升级 Apache OpenDAL 的时候连带需要升级 reqwest 到 0.12 版本，它依赖了 hyper 1.0 和 http 1.0 但是跟 axum 的 server 端代码关系较小，所以我可以切割开：

  • build(deps): upgrade to reqwest 0.12[14]

注意以上 PR 里修改 use 语句以选择正确的 re-export 符号的变更。

不过，tonic 的情况就比较幽默了。tonic 依赖了 axum 0.6 版本，而且 tonic 和 axum 都用了 tower 作为中间件的第三方库，而且都没有 re-export 而是标榜自己能无缝接入 tower 丰富的中间件生态。

由于 tonic 尚未完成 axum 0.7 和 hyper 1.0 的升级，这下就连环爆炸了：你找不到一个合适的 tower 版本，或者说你找不到一个合适的 axum 版本，来作为 GreptimeDB 被传递关联起来的版本约束。

于是，直到今天，GreptimeDB 的升级还是未完成的状态：

  • Upgrade Axum to 0.7[15]

不过，在三月底，tonic 上游就出现了一位大英雄开了一个升级的 PR 完成了主要的工作：

  • Upgrade to Hyper 1.0 & Axum 0.7[16]

这个 PR 我看到的时候还需要两个 hyper-util 的改动，我给帮忙推着合并了：

  • Adds max_pending_accept_reset_streams for legacy[17]

  • feat: add {http1,http2}_only for auto conn[18]

这里又岔开一下。虽然 tonic 在 hyperium 组织下，跟 hyper 和 http 一样，但是 hyper 和 http 的作者，Rust 生态真正负责人的英雄 @seanmonstar 并不怎么看 tonic 这个库。tonic 主要是 tokio 的作者 @LucioFranco 和另外两位志愿者 @tottoto 和 @djc 维护的。他们都有自己的本职工作要做，所以并没有太多时间 Review tonic 的变动。实际上，很多项目就用着 tonic 0.11 和 axum 0.6 万年不动也还行的（有没有发现 tonic 也是 ZeroVer 流派）。

不过，经过两个月当中的空闲时间累积，这个 tonic 的升级 PR 终于看着要走进尾声，希望能顺利。开源项目能有这个效率，小几个月跟进一个大型重构，虽然比不上 @seanmonstar 和其他活跃维护项目的响应速度，也绝对算是能及时更新的了。

这个 tonic PR-3610 有很多经典的开源贡献者跟维护者之间的交流和争论，我这里就不展开了。但是我非常建议各位关心开源的人去看看，了解真实的开源世界，未来或许参与进去做出自己的贡献，而不是自己想象或者冷眼旁观。

最后，贴两张图说明 Rust 生态 ZeroVer 的严重程度：

7be065416532ab350da21b6790bfdfa2.jpeg

GreptimeDB 的依赖 ZeroVer 有 782 个

4b91f14197cbaabb13ccabeb4d2cd69d.jpeg

GreptimeDB 的依赖非 ZeroVer 有 278 个

在 GreptimeDB 的依赖里，ZeroVer 的占比约莫七成。

其实，GreptimeDB 很多升级都很有工程上的说法，欢迎各位关注发现。我可能也会在今年的某些 Rust 会议上分享相关的经验。

文末放两个我在 Reddit 上跟这次 HTTP 生态大更新相关的讨论链接，在 Rust channel 上还算有一些有趣的讨论。

  • Spreading http 1.0 and hyper 1.0 among the ecosystem[19]

  • Super heavy generic on HTTP lib makes debugging hard[20]

参考资料

[1]

ZeroVer: https://0ver.org/

[2]

SemVer: https://semver.org/

[3]

build(deps): update datafusion to latest and arrow to 51.0: https://github.com/GreptimeTeam/greptimedb/pull/3661

[4]

build(deps): bump datafusion 20240528: https://github.com/GreptimeTeam/greptimedb/pull/4061

[5]

Poem: https://docs.rs/poem/latest/poem/

[6]

feat: support axum 0.7: https://github.com/cloudwalk/axum-test-helper/pull/29

[7]

refactor: bundle the lightweight axum test client: https://github.com/GreptimeTeam/greptimedb/pull/3669

[8]

chore: respect axum test client's origin: https://github.com/GreptimeTeam/greptimedb/pull/3805

[9]

“这只是很薄的一层”: https://github.com/tokio-rs/axum/issues/1146

[10]

TestClient: https://docs.rs/poem/latest/poem/test/struct.TestClient.html

[11]

Upgrade reqwest to 0.12: https://github.com/tokio-rs/axum/pull/2688

[12]

Enable diagnostic attributes for Rust 1.78+: https://github.com/tokio-rs/axum/pull/2693

[13]

tonic: https://github.com/hyperium/tonic

[14]

build(deps): upgrade to reqwest 0.12: https://github.com/GreptimeTeam/greptimedb/pull/4037/commits/ad0793b48cb0ac19fbd7c52be215140d96ca6eb5

[15]

Upgrade Axum to 0.7: https://github.com/GreptimeTeam/greptimedb/issues/3610

[16]

Upgrade to Hyper 1.0 & Axum 0.7: https://github.com/hyperium/tonic/pull/1670

[17]

Adds max_pending_accept_reset_streams for legacy: https://github.com/hyperium/hyper-util/pull/102

[18]

feat: add {http1,http2}_only for auto conn: https://github.com/hyperium/hyper-util/pull/111

[19]

Spreading http 1.0 and hyper 1.0 among the ecosystem: https://www.reddit.com/r/rust/comments/1bqfjbo/spreading_http_10_and_hyper_10_among_the_ecosystem/

[20]

Super heavy generic on HTTP lib makes debugging hard: https://www.reddit.com/r/rust/comments/1czi4g4/super_heavy_generic_on_http_lib_makes_debugging/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/339209.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

kotlin1.8.10问题导致gson报错TypeToken type argument must not contain a type variable

kotlin1.8.10问题导致gson报错TypeToken type argument must not contain a type variable

书接上回，https://blog.csdn.net/jzlhll123/article/details/139302991。 之前我发现gson报错后： gson在2.11.0给我的kotlin项目代码报错了。 IllegalArgumentException: TypeToken type argument must not contain a type variable 上次解释原因是因为&…
阅读更多...
String常用操作

String常用操作

String常用方法 构造字符串 常用的构造字符串有3种： 1.直接赋值String s "abcd"; 2.实例化调用构造方法String s new String("abcd"); 3.实例化传字符数组 char[] ch {a,b,c,d}; String s new String(ch);字符串比较 比较 比较的是两个…
阅读更多...
隐马尔可夫链

隐马尔可夫链

1 马尔可夫链 马尔科夫链（Markov Chain）是一种数学模型，它描述了一系列可能事件的概率，其中每个事件的发生仅依赖于前一个事件的状态。这一特性称为“无记忆性”或“马尔可夫性质”。我将用一个简单的天气预测模型作为例子来解释马…
阅读更多...
Java+SVNCloud+Mysql课程设计

Java+SVNCloud+Mysql课程设计

文章目录 1、主要内容2、所需准备3、与sql访问的中间类：SqlMessage4、窗口界面5、main方法 1、主要内容 课程设计，主要通过Javas wing创建窗口，jdbc连接云端mysql数据库进行基本操作，支持随机生成数据并用动态展示数据结果。 先…
阅读更多...
自学 Java 怎么入门？

自学 Java 怎么入门？

关于自学 Java 如何入门这一重要课题，在此为大家进行详细阐述。 在此之前，如果大家有兴趣的话，可以看看我自己精心整理的嵌入式入门资料，这些资料将全部免费送给大家。其中包含了编程教学内容、详细的视频讲解、实用的数据库资料…
阅读更多...
Vue 实例

Vue 实例

一、页面效果图 二、代码 <!DOCTYPE html> <html><head><meta charset"utf-8"><script src"../vue.js" type"text/javascript"></script><title>vue 实例</title></head><body>&l…
阅读更多...
Linux命令篇（一）：文件管理部分

Linux命令篇（一）：文件管理部分

&#x1f49d;&#x1f49d;&#x1f49d;首先&#xff0c;欢迎各位来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里不仅可以有所收获&#xff0c;同时也能感受到一份轻松欢乐的氛围&#xff0c;祝你生活愉快&#xff01; 文章目录 1、cat命令常用参…
阅读更多...
HALCON-从入门到入门-图像格式的互相转换

HALCON-从入门到入门-图像格式的互相转换

1.废话 上次说到了图片的读取和写入到本地&#xff0c;这次说一下图片的格式相关。 位图和矢量图 photoshop处理出来的图片肯定叫做图片&#xff0c;那么coreDraw处理出来的图片是不是也叫图片。 之间就有区分&#xff0c;一种叫做位图&#xff0c;一种叫做矢量图 位图和矢…
阅读更多...
创建一个支持切换阅读模式和答题模式的Anki问答题模板

创建一个支持切换阅读模式和答题模式的Anki问答题模板

为了备考某个需要默写的科目&#xff0c;做了个问答题笔记模板&#xff0c;如下&#xff1a; 在上图的回答栏填写答案后&#xff0c;点击显示答案按钮转到背面&#xff1a; 只实现上面的功能是很简单的&#xff0c;直接基于Anki自带的问答题模板添加自己需要的字段即可。问题…
阅读更多...
基于卷积-小波神经网络的SAR图像海冰变化检测方法（MATLAB R2018A）

基于卷积-小波神经网络的SAR图像海冰变化检测方法（MATLAB R2018A）

海冰是冰冻圈的重要组成部分&#xff0c;海冰的变化信息对航行安全和自然资源开采等非常重要&#xff0c;许多船舶没有加固防冰设备&#xff0c;因此&#xff0c;必须避开所有的冰区。尤其当冰压很高时&#xff0c;即使破冰船也很难在冰层中前行。为了安全航行&#xff0c;获取…
阅读更多...
自动化办公01 smtplib 邮件⾃动发送

自动化办公01 smtplib 邮件⾃动发送

目录 一、准备需要发送邮件的邮箱账号 二、发送邮箱的基本步骤 1. 登录邮箱 2. 准备数据 3. 发送邮件 三、特殊内容的发送 1. 发送附件 2. 发送图片 3. 发送超文本内容 4.邮件模板内容 SMTP&#xff08;Simple Mail Transfer Protocol&#xff09;即简单邮件传输协议…
阅读更多...
天气数据集-Jena Climate dataset

天气数据集-Jena Climate dataset

天气数据集-Jena Climate dataset 1.数据集基本信息 Dataset Name: mpi_saale_2021b.csv Size: 26495 rows; 1 year (2021), 10 min 气象学、农业、环境科学 开源机构: Max Planck Institute for Biogeochemistry 2.数据特征 2.1 特征简介 数据共有31个特征&#xff0c;…
阅读更多...
使用 Scapy 库编写 Ping of Death 攻击脚本

使用 Scapy 库编写 Ping of Death 攻击脚本

一、介绍 1.1 概述 Ping of Death&#xff08;PoD&#xff09;攻击是一种历史悠久的拒绝服务&#xff08;DoS&#xff09;攻击&#xff0c;攻击者通过发送特制的畸形ICMP Echo请求数据包&#xff0c;导致目标系统无法正确处理&#xff0c;从而导致系统崩溃、重启或无法响应正…
阅读更多...
【最新鸿蒙应用开发】——什么是状态管理？

【最新鸿蒙应用开发】——什么是状态管理？

状态管理 在声明式UI编程框架中&#xff0c;UI是程序状态的运行结果&#xff0c;用户构建了一个UI模型&#xff0c;其中应用的运行时的状态是参数。当参数改变时&#xff0c;UI作为返回结果&#xff0c;也将进行对应的改变。这些运行时的状态变化所带来的UI的重新渲染&#xf…
阅读更多...
【Postman接口测试】第四节.Postman接口测试项目实战（上）

【Postman接口测试】第四节.Postman接口测试项目实战（上）

文章目录 前言一、项目介绍 1.1 项目界面功能介绍 1.2 项目测试接口介绍 1.3 项目测试接口流程二、HTTP协议三、接口测试中接口规范四、项目合同新增业务介绍 4.0 接口测试用例设计流程 4.1 登录接口调试 4.2 登录接口自动关联 4.3 添加…
阅读更多...
攻防世界---web---Web_php_unserialize

攻防世界---web---Web_php_unserialize

1、题目描述 2、 3、分析代码 class Demo { private $file fl4g.php; }&#xff1a;定义了一个名为Demo的类&#xff0c;该类有一个私有属性$file&#xff0c;默认值为fl4g.php。 $a serialize(new Demo);&#xff1a;创建了一个Demo类的实例&#xff0c;并对其进行序列化&a…
阅读更多...
【机器学习】基于OpenCV和TensorFlow的MobileNetV2模型的物种识别与个体相似度分析

【机器学习】基于OpenCV和TensorFlow的MobileNetV2模型的物种识别与个体相似度分析

在计算机视觉领域&#xff0c;物种识别和图像相似度比较是两个重要的研究方向。本文通过结合深度学习和图像处理技术&#xff0c;基于OpenCV和TensorFlow的MobileNetV2的预训练模型模&#xff0c;实现物种识别和个体相似度分析。本文详细介绍该实验过程并提供相关代码。 一、名…
阅读更多...
eNSP学习——VRRP基础配置

eNSP学习——VRRP基础配置

目录 主要命令 原理概述 实验目的 实验内容 实验拓扑 实验编址 实验步骤 1、基本配置 2、部署OSPF网络 3、配置VRRP协议 4、验证VRRP主备切换 主要命令 //创建备份组 [R2]int g0/0/1 [R2-GigabitEthernet0/0/1]vrrp vrid 1 virtual-ip 192.168.1.254 //修改优先级 …
阅读更多...
自动评论自动私信引流系统，自动化时代的挑战与机遇

自动评论自动私信引流系统，自动化时代的挑战与机遇

随着科技的飞速发展&#xff0c;自动化技术已经渗透到我们生活的方方面面。从工业生产线上的机械臂到家庭中的智能助手&#xff0c;自动化不仅改变了我们的工作方式&#xff0c;也在重塑着社会的面貌。然而&#xff0c;在享受自动化带来的便利和效率的同时&#xff0c;我们也必…
阅读更多...
Java实现对PDF、纵向、横向页面添加自定义水印功能

Java实现对PDF、纵向、横向页面添加自定义水印功能

Java实现对PDF、纵向、横向页面添加自定义水印 效果图 -- 纵向 页面PDF使用到JAR Maven依赖版本效果图 -- 横向页面PDF 效果图 – 纵向 页面PDF 代码如下&#xff1a; 使用到JAR Maven依赖版本 <dependency><groupId>org.apache.pdfbox</groupId><artifa…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023