StarRocks 3.3 重磅发布，Lakehouse 架构发展进入快车道！

StarRocks 3.3 的发布标志着 Lakehouse 架构在数据分析领域迈向了一个新的高度。作为下一代 Lakehouse 架构的代表，StarRocks 3.3 在稳定性、计算性能、缓存设计、物化视图、存储优化和 Lakehouse 生态系统等方面进行了全方位的优化和创新。本文将逐一介绍 StarRocks 3.3 的这些新特性，带你深入了解这款强大的数据分析工具如何提升你的数据处理效率和分析能力。

成熟稳定：全面提升的成熟度级别和大查询稳定性

为了帮助用户更好地理解和使用新功能，StarRocks 3.3 对各项新特性进行了成熟度级别的划分，并采用了更清晰的标记体系：Experimental（实验性质）、Preview（公测阶段）和 GA（生产可用）。这种分级体系使用户能够根据功能的成熟度来决定是否在生产环境中使用。

  • Experimental （实验性质） ：这些功能的接口可能会变动，甚至可能被调整或放弃，部分刚合入社区的代码覆盖率尚未达到标准的功能也会先放入这一类别。此类功能需要用户手动打开或主动调用，不会影响其他功能。

  • Preview （公测阶段） ：接口基本稳定，但部分参数的语义可能会有微调。可以在非核心场景下使用。

  • GA（Gerneal available） ：接口和功能已经明确，虽然还会有一些功能补充，但已有功能基本不会修改，完全达到生产可用状态。

此外，为了进一步提升用户体验，我们针对数据湖分析、存算分离和物化视图等关键功能提供了更完整的产品能力边界和版本对照文档，方便用户理解和使用。

StarRocks 3.3 针对大查询、数据压缩和数据湖场景的内存占用进行了显著优化。通过 GA 级别的算子落盘能力（Spill to Disk），有效地优化了复杂查询的内存占用和 Spill 调度，确保大查询能够稳定执行而不会导致内存溢出（OOM）。此外，支持 Colocate Group Execution，通过分阶段执行 Colocated 表上的查询，大幅降低 Join 和 Agg 算子在执行时的内存占用，从而显著提升大查询的稳定性。

性能提升：新架构，新台阶，新场景

StarRocks 3.3 的发布不仅提升了基础性能，更在真实场景中的性能优化上迈上了新台阶。我们不仅仅拘泥于Benchmark 测试的成绩，而是专注于在实际应用中的性能提升。

首先，在新架构性能优化方面，StarRocks 对 ARM 架构进行了大幅优化，相比 x86 平均成本降低 20%，同时查询性能提升20%，使其成为与 x86 架构同等重要的一等公民。 在 AWS Graviton 实例上的测试中，ARM 架构的性能提升显著：在 SSB 100G 测试中，ARM 比 x86 快 11%；在Clickbench 测试中，ARM 比 x86 快 39%；在 TPCH 100G 测试中，ARM 比 x86 快 13%；在 TPCDS 100G 测试中，ARM 比 x86 快 35%。

在数据湖性能优化方面，StarRocks 3.3 提升了 Scan 性能，通过对 Page Index 的优化显著减少了 Scan 的数据规模，降低了 Page 多读的情况。此外，元数据性能也有了突破，显著提升了整体的处理效率。

针对特定场景的性能提升，StarRocks 3.3 进行了多方面的优化：

  • 倒排索引和 ngram 索引的增强显著提升了模糊搜索的效率；

  • FlatJson 对半结构化数据的处理性能也得到了百倍的显著提升，自动加速了 JSON 查询，使其性能接近结构化数据，同时保持了灵活性。

  • Bitmap 优化不仅提升了 Bitmap 系列函数的性能和内存占用，还补充了 Bitmap 导出到 Hive 的能力，以及相应的Hive Bitmap UDF。

  • CodeGen 技术显著提升了复杂表达式的计算效率，而重构后的向量化正则表达匹配也大幅降低了 regexp_replace 函数的 CPU 消耗。

  • 为了应对数据倾斜问题，StarRocks 3.3 增加了外表统计信息中的直方图统计，使得在数据倾斜情况下能生成更准确的执行计划，并优化了数据倾斜时的 Shuffle Join 操作。

  • 此外，全局字典的优化提供了字典对象，可以在各个 BE 节点内存中存储字典表的键值对映射关系通过dictionary_get() 函数直接查询维度值，相对于原先通过 JOIN 维度表获取维度值的方式，查询效率更高。

缓存设计： Lakehouse 架构的最后一块拼图

在 Lakehouse 架构中，缓存设计是实现高效数据处理的关键一环。对于存算分离架构来说，缓存的重要性不言而喻。无论是 Hive、Iceberg、Paimon 等外表，还是 StarRocks 存算分离的内表，缓存命中率的高低直接影响性能的优劣。在缓存命中情况下，性能已经能够追平存算一体的架构，但如何合理、稳定地将热数据保存在缓存中却是一大挑战。

StarRocks 原生开发的缓存功能为用户提供了开箱即用的便捷体验。无需复杂的配置，用户即可利用强大的缓存机制提升数据处理性能。StarRocks 3.3 通过一系列创新功能显著提升了缓存的能力：

  • 预热缓存： 通过 cache warmup 命令，可以预先将关键数据加载到缓存中，减少首次查询的延迟。

  • 缓存优先级 ：3.3.1 推出将 cache select 设置较高的缓存优先级，确保最重要的数据得到优先缓存。

  • 内存优化和可观测性： 缓存的内存优化和可观测性的提升，使得缓存的管理和监控更加高效和透明。

在存算分离集群中，StarRocks 3.3 还适配了AWS Express One Zone Storage，大幅提升了读写性能，为未来的全局缓存带来了全新的可能性。

此外，在缓存无法命中或者不希望使用缓存的场景下，冷查性能也得到了显著提升。主要通过优化 tablet 的并行扫描，以及对小 I/O 的自动合并，使得即使在没有缓存支持的情况下，查询性能依然表现优异。

物化视图：连接湖仓的高效纽带

物化视图作为 StarRocks 的核心能力，也是连接 Open lake format 和 StarRocks 内表的纽带。通过外表物化视图，可以透明地为数据湖上的查询进行加速，在保证 single source of truth 的同时，降低数据加工的复杂度。

在 3.3 版本中，我们又进一步做了一些重要优化：

  • 外表物化视图的进一步能力增强： Iceberg 外表物化视图支持分区级别增量刷新，并可在分区方式为 Hidden Partition 的表上创建物化视图。Paimon 外表物化视图补全了改写能力，也支持了分区级别的增量刷新。

  • 更完善的透明改写能力: StarRocks 3.3 支持了基于文本和视图的物化视图改写。 除了原来标准 SJPG 的改写能力之外，基于视图的 MV 改写可以把针对视图的查询改写到对等的物化视图上，适用于建模和指标平台等场景。针对文本的改写能力能对一些非标准 SQL 片段进行文本匹配，解决复杂查询难以透明改写的问题。

  • 多事实表分区刷新优化 ： 此前，物化视图的分区刷新策略仅支持单个事实表增量刷新策略（即当物化视图的分区列和一个 base 表的分区列一致场景下，物化视图的刷新会根据base表的分区来进行变更），3.3 版本新增的多事实表对齐策略，可以降低多事实表关联场景下的物化视图刷新开销。

  • 新增改写策略（Transparent MV）： 此前，物化视图的改写主要是把针对 base 表的查询改写到物化视图上，通过开启物化视图属性 transparent_mv_rewrite_mode 后，当用户直接查询物化视图时，StarRocks 会自动改写查询，将已经刷新的物化视图分区中的数据和未刷新分区对应的原始数据做自动 Union 合并。 此模式允许配置 在 MV 和 base 表数据不一致时的改写行为，实现在数据时效性和查询性能之间的权衡， 适用于 分层建模场景。

开启物化视图属性 transparent_mv_rewrite_mode 后，当用户直接查询物化视图时，StarRocks 会自动改写查询，将已经刷新的物化视图分区中的数据和未刷新分区对应的原始数据做自动 Union 合并。

  • 大规模物化视图调度能力优化 ： 增加 enable_query_rewrite 属性，实现对查询改写的禁用，减少计划开销。通过控制候选物化视图数量，并引入更高效的筛选算法，增加物化视图计划缓存（MV plan cache）。支持全局FIFO 调度，优化嵌套物化视图的级联刷新策略。

存储优化：更高效易用的数据管理

StarRocks 3.3 在存储优化与易用性提升方面做出了诸多改进，进一步增强了系统的性能和用户体验。

首先，StarRocks 3.3 提升了 FE 的可观测性和锁机制优化。提供了详细的内存使用指标，让用户可以更好地管理和监控资源。同时，引入了锁管理器（Lock Manager），实现对元数据锁的集中管理，将元数据锁的粒度从库级别细化为表级别。 这种细化显著提高了导入和查询的并发性能，在 100 并发的导入场景下，导入耗时减少了 35%。

为了增强建表语句的清晰度，StarRocks 3.3 支持了 ORDER BY 语法，使得建表操作更加直观和简洁。此外，还增加了对重命名列（Rename Column）的支持（版本 3.3.1），进一步提升了数据管理的灵活性。

在存储效率方面，StarRocks 3.3 优化了非字符串标量类型数据的存储方式，存储空间下降了 12%。这不仅降低了存储成本，也提升了数据读取的效率。

针对主键表，StarRocks 3.3 实施了多项优化：

  • PK Index 存算分离支持 Remote Storage ：主键索引落盘支持落至远程存储，提高了数据的灵活性和可扩展性。

  • 主键表支持 Size-tiered Compaction 策略 ：这一策略降低了执行 Compaction 时的写 I/O 和内存开销，适用于存算分离和存算一体的集群。

  • 优化主键表持久化索引的读 I/O ：支持按照更小的粒度页读取持久化索引，并改进了持久化索引的 Bloom Filter。这一优化也适用于存算分离和存算一体的集群。

生态支持：Lakehouse 扩展与集成

Hive 生态支持 ：在3.3版本中，StarRocks 支持对 ORC 和 Text 文件的写入能力。 单 sink 算子的写入性能达到了 Trino 的 2 倍。

Iceberg 生态支持 ：StarRocks 3.3 大幅重构了 Iceberg 元数据查询模块，通过分布式元数据读取提升对 Avro 格式文件的解析性能，避免原生 SDK 的单点瓶颈，对小规模的元数据通过 manifest 缓存来降低重复 I/O，从而大幅提升了Iceberg 的元数据访问性能。同时，增加了对 V2 表 equality delete 的支持，使用户能够高效分析使用 Flink 写入的Iceberg upsert 数据。此外，还引入了对 Iceberg 视图（Iceberg View）的查询支持，使得数据管理和查询更加便捷和直观。

Paimon 生态支持 ：StarRocks 3.3 现已全面支持 Paimon 生态系统，包括对最新的 delete vector 的支持、Paimon 系统表的集成以及 scan range 调度的优化。通过这些改进，用户可以更高效地管理和查询 Paimon 中的数据，实现更灵活的数据处理和分析。

ClickHouse 和 Kudu 生态支持 ：为了方便用户从 Clickhouse 迁移到 StarRocks，社区贡献了专用的迁移工具，使得数据迁移过程更加平滑和高效。此外，StarRocks 还支持 ClickHouse 和 Kudu 的 Catalog 功能，使得用户可以更便捷地在这两种数据库和 StarRocks 之间进行数据管理和查询。

总结：成熟的 Lakehouse 架构

StarRocks 正在积极向成熟的湖仓架构升级，不仅增强了与开放湖格式的兼容性，还显著提升了湖的写入性能。在数仓功能上，它进一步加强了索引和半结构化数据处理的性能，同时，存算分离架构成为更受青睐的成熟解决方案。

此外，大查询和 ETL 任务的稳定性的提高，为批处理的能力打下基础。这些进步共同推动了 StarRocks 向一套架构,满足所有的分析需求的"One data, All Analytics"愿景的迈进。

更详细的 feature 介绍参考：

Release note： https://docs.mirrorship.cn/zh/releasenotes/release-3.3/

下载： https://www.mirrorship.cn/zh-CN/download/starrocks

直播回放 ：https://www.bilibili.com/video/BV1F7421d72D/

更多交流，联系我们：https://wx.focussend.com/weComLink/mobileQrCodeLink/33412/8da64

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/367486.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何在 SQL 中删除一条记录？

如何在 SQL 中删除一条记录？

如何在 SQL 中删除一条记录？ 在 SQL 中，您可以使用DELETE查询和WHERE子句删除表中的一条记录。在本文中，我将向您介绍如何使用DELETE查询和WHERE子句删除记录。我还将向您展示如何一次从表中删除多条记录 如何在 SQL 中使用 DELETE 这是使…
阅读更多...
ctfshow sql注入 web234--web241

ctfshow sql注入 web234--web241

web234 $sql "update ctfshow_user set pass {$password} where username {$username};";这里被过滤了，所以我们用\转义使得变为普通字符 $sql "update ctfshow_user set pass \ where username {$username};";那么这里的话 pass\ where…
阅读更多...
踩坑：Unity导出WebGL发布到手机上竖屏时强制显示横屏

踩坑：Unity导出WebGL发布到手机上竖屏时强制显示横屏

具体的适配问题 公司的项目需要将游戏导出WebGL 发布到Web平台 本以为是个很简单的事情 谁知道却被个横竖屏适配搞的头晕 毕竟只有大学浅浅的学了下HTML这门语言 出来工作后基本上都是在跟C# Lua打交道 言归正传 看看具体问题吧 游戏如果从横屏进入 基本上不会有什么适配问题…
阅读更多...
预处理详解

预处理详解

1.预定义符号 C语言设置了一些预定义符号，可以直接使用，预定义符号也是在预处理期间处理的。 __FILE__ //进行编译的源文件 __LINE__ //文件当前的行号 __DATE__ //文件被编译的日期 __TIME__ //文件被编译的时间 __STDC__ //如果编译器遵循ANSI C&…
阅读更多...
在Clion使用CubeMX Stm32的步骤

在Clion使用CubeMX Stm32的步骤

Step1 准备软件，安装环境： 1. cubemx v6.5.0（可以兼容以前版本的project） https://www.st.com.cn/zh/development-tools/stm32cubemx.html STM32CubeMX 默认安装目录, 6.5版本可以兼容老版本 C:\Program Files\STMicroelectroni…
阅读更多...
SpringMVC常见的注解

SpringMVC常见的注解

一、Spring MVC Spring Web MVC是基于ServletAPI构建的原始web 框架，一开始就包含在Spring 框架中，通常被称为“Spring MVC”。 1.MVC 是什么？ MVC(Model、View、Controller）是软件工程中的一种软件架构设计模型。它把软件系统分…
阅读更多...
Vision Transformer论文阅读笔记

Vision Transformer论文阅读笔记

目录 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale -- Vision Transformer摘要Introduction—简介RELATED WORK—相关工作METHOD—方法VISION TRANSFORMER (VIT)—视觉Transformer(ViT) 分析与评估PRE-TRAINING DATA REQUIREMENTS—预训练数据…
阅读更多...
战略流程-麦肯锡企业数字化业务变革成熟度评估模型及案例深度解析

战略流程-麦肯锡企业数字化业务变革成熟度评估模型及案例深度解析

一、企业变革成熟度评估模型 企业变革成熟度诊断模型是一种评估工具，用于全面扫描和评估企业在变革转型过程中的能力水平。该模型通过一系列量化指标和定性分析，对企业在不同变革领域的成熟度进行评分，从而帮助企业识别在变革过程中的优势和…
阅读更多...
llm学习-3（向量数据库的使用）

llm学习-3（向量数据库的使用）

1：数据读取和加载 接着上面的常规操作 加载环境变量---》获取所有路径---》加载文档---》切分文档 代码如下： import os from dotenv import load_dotenv, find_dotenvload_dotenv(find_dotenv()) # 获取folder_path下所有文件路径，储存在…
阅读更多...
mysql数据库自动备份

mysql数据库自动备份

crond cron 实现定时执行 安装 yum install crond启动 service crond start查看状态 service crond status执行 crontab xx.cron查看任务列表 crontab -l删除所有任务 crontab -r 示例：每分钟写入 Good morning 到 mine.cron [rootecs-f1dd-0001 fztmp]# echo ‘* …
阅读更多...
什么是 API 代理？

什么是 API 代理？

API 代理就像是您的计算机和互联网上特殊服务之间的中间人。它有点像集翻译、保安和信使于一体。 什么是 API 代理？ API 代理就像是您和在线服务之间的中间人。当您的计算机需要从某个特殊的在线服务 (API) 获得某些东西时，API 代理会确保一切顺利进行…
阅读更多...
使用 llamaIndex 快速实现智能体

使用 llamaIndex 快速实现智能体

AI 智能体就是可以根据当前环境进行推理，并根据处理结果进行下一步的操作。简单来说 AI 智能体可以与外界环境进行交互，并根据结果执行更复杂的操作。本文将通过llamaIndex 实现一个简单的 Agent 实时获取数据，由于大模型是通过静态数据进行训…
阅读更多...
BAS（入侵与攻击模拟）正在替代红队测试？

BAS（入侵与攻击模拟）正在替代红队测试？

之前经常会被用户问到，漏扫、渗透和红队红的区别是啥？ 传统的漏扫、渗透和红蓝对抗，可以看到工具化的漏洞不可靠，人工的成本就高。怎么找到一个漏洞可信度又高，成本又低的，就诞生了BAS。 抛开漏扫&#xf…
阅读更多...
CTO透露GPT-5内幕，OpenAI 以36亿美元收购数据库初创公司

CTO透露GPT-5内幕，OpenAI 以36亿美元收购数据库初创公司

目录 01 GPT-5 02 OpenAI收购Rockset 2.1 谁是Rockset？ 2.2 OpenAI的目的是什么？ 01 GPT-5 虽然GPT-4的视频通话功能尚未全面推广，但OpenAI的CTO已经对即将到来的GPT-5给出了新的暗示。 不久前，Mira回到母校达特茅斯工程学…
阅读更多...
数据结构——跳表Skip List

数据结构——跳表Skip List

本文对跳表的定义、实现、应用等进行简单总结。 一、 介绍 1.定义 跳表（Skip List）：是一种概率性数据结构，由William Pugh在1990年提出，主要用于在有序的元素集合上进行快速的搜索、插入和删除操作。跳表的效率与平衡…
阅读更多...
MyBatis3（动态SQL 常用的动态SQL 元素 映射器注解 基本注解 结果映射注解）

MyBatis3（动态SQL 常用的动态SQL 元素 映射器注解 基本注解 结果映射注解）

目录 一、动态SQL 常用的动态SQL 元素 二、if元素 三、choose 、when 、otherwise 元素 四、trim 、where 、set 元素 trim（不常用） where set 五、foreach 元素 六、bind 元素 #{} ${} 区别 示例完整代码 七、映射器注解 八、基本注解 …
阅读更多...
远程登录WINDOWS10,提示你的凭据不工作

远程登录WINDOWS10,提示你的凭据不工作

1：想通过远程桌面登录WINDOWS10输入用户名和密码后，出现下面的提示。 2：登录WINDOWS10，在运行中输入gpedit.msc 3：本地组策略编辑器窗口中，依次展开，计算机配置 ---> 管理模版---> 系统--…
阅读更多...
【LLM 论文】Self-Refine：使用 feedback 迭代修正 LLM 的 output

【LLM 论文】Self-Refine：使用 feedback 迭代修正 LLM 的 output

论文：Self-Refine: Iterative Refinement with Self-Feedback ⭐⭐⭐⭐ CMU, NeurIPS 2023, arXiv:2303.17651 Code: https://selfrefine.info/ 论文速读 本文提出了 Self-Refine 的 prompt 策略，可以在无需额外训练的情况下，在下游任务上产…
阅读更多...
DMA学习笔记

DMA学习笔记

参考文章 https://blog.csdn.net/as480133937/article/details/104927922 DMA简介 DMA，全称Direct Memory Access，即直接存储器访问。DMAC 即 DMA 控制器，提供了一种硬件的数据传输方式，无需 CPU 的介入，可以处理外…
阅读更多...
【LeetCode】九、双指针算法：环形链表检测 + 救生艇

【LeetCode】九、双指针算法：环形链表检测 + 救生艇

文章目录 1、双指针算法1.1 对撞双指针1.2 快慢双指针 2、leetcode141：环形链表3、leetcode881：救生艇 1、双指针算法 用两个指针来共同解决一个问题： 1.1 对撞双指针 比如先有一个有序的数组array int[] array {1, 4, 5, 7, 9}先要找两个…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发