【性能优化】低配starRocks常驻内存优化

背景说明

由于服务器的实际资源小于starRocks官方的配置,导致starRocks在无任务的情况下,常驻内存偏高,可用于查询的资源变小。

在这里插入图片描述
官方文档

实际部署的集群一般是4C8G和8C16G,be的配置不达标

为了解决单次查询内存不足的问题,提升系统稳定性。放弃starRocks默认开启的通过内存换时间的优化逻辑,降低内存使用。

注意事项

部分参数无法在conf文件中配置,需要执行SQL语句,进行set操作。

参数调整

query_mem_limit

感觉是starRocks的BUG,默认是不配置的,就是不限制。但一段时间后会触发BUG,变成2G的效果,只能手动配置来解决。

Limit:2147483648,刚好是2GB。

ERROR 1064 (HY000) at line 1: Memory of Query4c93de21-7bb9-11ef-a38d-00163e3ad810 exceed limit. Pipeline Backend: 172.16.204.181, fragment: 4c93de21-7bb9-11ef-a38d-00163e3ad811 Used: 2150710904, Limit: 2147483648. Mem usage has exceed the limit of single query, You can change the limit by set session variable query_mem_limit.

SET GLOBAL query_mem_limit = 13743895347; 
--具体数值需要根据实际资源确认,大约是服务器的80%

enable_persistent_index

这个参数用于控制是否持久化主键索引。在主键表中,StarRocks可以使用磁盘和内存同时存储主键索引,以减少主键索引占用的内存空间。如果设置为true,则主键索引会被持久化到磁盘上,这样可以在使用大量数据的情况下节省内存。默认情况下,这个参数可能设置为false,意味着主键索引只在内存中维护,这可能会导致内存使用量较大。常驻内存使用问题之一,内存不足或导入操作多的表,可以考虑关闭。

disable_storage_page_cache

是否开启 PageCache。开启 PageCache 后,StarRocks 会缓存最近扫描过的数据,对于查询重复性高的场景,会大幅提升查询效率。true 表示不开启。该配置项与 storage_page_cache_limit 配合使用,在内存资源充足和有大数据量 Scan 的场景中启用能够加速查询性能。storage_page_cache_limit,默认20%,修改为0% 。BE 存储层 page 缓存可以使用的内存上限。

管理内存 | StarRocks

chunk_reserved_bytes_limit

其参数修改在【metadata常驻优化】中 chunk_reserved_bytes_limit=100000000

用于加速小块内存分配的 Cache,默认上限为 2GB。您可以在内存资源充足的情况下打开。

修改为0,不启用

管理内存 | StarRocks

metadata常驻优化

降低到常驻进程中metadata的占比

在be.conf中加上 
disable_column_pool=true
chunk_reserved_bytes_limit=100000000
data_page_size=524288

中间表落盘

中间结果落盘 | StarRocks

【默认】Data Cache

speedo系统默认是false,未开启

如需永久禁用 Data Cache,需要将以下配置添加到 CN 配置文件 cn.conf 中,并重新启动 CN 节点:

starlet_use_star_cache = false

Data Cache | StarRocks

【默认】Query Cache

speedo系统默认是false,未开启

Query Cache 特性,可以帮助您极大地提升聚合查询的性能。开启 Query Cache 后,每次处理聚合查询时,StarRocks 都会将本地聚合的中间结果缓存于内存中。这样,后续收到相同或类似的聚合查询时,StarRocks 就能够直接从 Query Cache 获取匹配的聚合结果,而无需从磁盘读取数据并进行计算,大大节省查询的时间和资源成本,并提升查询的可扩展性。在大量用户同时对复杂的大数据集执行相同或类似查询的高并发场景下,Query Cache 的优势尤为明显。

Query Cache | StarRocks

内存分析方法

管理内存 | StarRocks

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/433441.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

史上最详细论文word排版格式指导保姆级教学!

一、前言 首先,每个学校的论文排版格式都是不太相同的,但大体上都是相似的。 正常来说,论文的排版操作是十分枯燥并且重复的,但是word中的样式工具使得论文排版会变得容易。 接下来我将以某个学校论文格式要求为例,…

python socket编程

socket socket(套接字)是进程间通信的工具,好比现实生活中的插座,所有家电想要工作都是基于插座进行,进程之间想要进行网络通信需要socket socket负责进程之间的网络数据传输,好比数据的搬运工 2个进程之…

动态规划入门题目->使用最小费用爬楼梯

1.题目: 2.解析: 做题模式: 步骤一:找状态转移方程 步骤二:初始化 步三:填表 步骤四:返回-> dp[n] dp[i]表示到达 i 位置最小花费 逻辑:要爬到楼顶先找到 i 位置 , 要…

高通Android 12 push framework.jar和service.jar

1、Android framework.jar和service.jar替换注意事项 2、单编 adb push service.jar脚本 如下 adb root adb disable-verity adb remountadb push services.jar system/framework adb push services.jar.prof system/framework adb push oat/arm64/services.art /system/fram…

SpringBoot日志集成-LogBack

Log4J:最早的Java日志框架之一,由Apache基金会发起,提供灵活而强大的日志记录机制JDK自带的日志框架:java.util.logging.Logg,是JDK1.4之后提供的日志API,已淘汰logback: logback一个开源的日志…

delphi制作漂亮的农历窗体(IntraWeb+Layui的完美结合)

delphi制作漂亮的农历窗体(IntraWebLayui的完美结合) 不需要安装服务器,Apache和IIS都不需要,自带企业级服务器。 运行exe服务器就架好了,直接打开手机浏览器或者电脑浏览器,网页就出来了,如果…

sqli-lab靶场学习(四)——Less11-14(post方法)

前言 第1-10关都是get方法,本关开始进入post方法。其实post也好get也好,本质都差不多,使用的技巧也基本相同。 Less11 第11关打开是一个输入用户名密码的界面 显然登陆对话框会使用post方式提交,这里我们尝试在Username一栏通过…

时序预测 | Python实现KAN+LSTM时间序列预测

时序预测 | Python实现KAN+LSTM时间序列预测 目录 时序预测 | Python实现KAN+LSTM时间序列预测预测效果基本介绍程序设计预测效果 基本介绍 时序预测 | KAN+LSTM时间序列预测(Python) KAN作为这两年最新提出的机制,目前很少人用,很适合作为时间序列预测的创新点,可以结合…

CSS01-语法规范、基础选择器

一、CSS语法规范 示例: 二、CSS的基础选择器 选择器(选择符)就是根据不同需求把不同的标签选出来这就是选择器的作用。 简单来说,就是选择标签用的。 选择器的分类: 1、标签选择器 2、类选择器(开发最常用) 长字符命名…

误差不到1毫米的WGS84与CGCS2000坐标转换工具

我们在《WGS84与CGCS2000坐标的精密转换方法》一文中为你分享了一个WGS84与CGCS2000坐标的精密转换纯理论性的方法。 现在,再为你分享一个据说是误差不到1毫米的WGS84与CGCS2000坐标的转换工具,请从文末查看该工具的领取方法。 WGS84与CGCS2000坐标转换…

信息学奥赛的最佳启蒙阶段是小学还是初中?

信息学奥赛(NOI)近年来越来越受家长和学生的关注,尤其是在编程教育不断升温的背景下,信息学竞赛成为了许多家庭的教育选择之一。家长们往往关心的是:孩子应该在什么年龄段开始接触信息学竞赛,才能打下坚实的…

如何让 Android 的前端页面像 iOS 一样“优雅”?

作者:方英杰(崇之) 最近在调研前端页面适配 Android 端异形屏的方案,调研过程中发现了一些比较有意思的点,本文主要是做一个总结。 一、提出问题 首先,我们需要知道 Android 上的前端适配面临着什么问题。 问题其实很…

台式机通过笔记本上网

概述: ①将wifi共享给网口 ②网口配置成自协商IP和DNS即可 一、背景 由于台式机只有网口,没得wifi网卡,因此想通过笔记本连wifi,再通过网线将笔记本和台式机连接起来,从而实现台式机通过笔记本的wifi上网,即让笔记本当台式机的…

实现org.springframework.beans.factory.InitializingBean 接口--初始化bean

1、案例 import com.dzwl.easy.report.core.service.IUserDescService; import org.springframework.beans.factory.InitializingBean; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component;Component public c…

大厂太卷了!又一款一站式AI短剧创作神器,这套AI工作流厉害了:自动生成脚本、角色、分镜、视频、音乐、字幕...(附保姆级教程)

大家好,我是程序员X小鹿,前互联网大厂程序员,自由职业2年,也一名 AIGC 爱好者,持续分享更多前沿的「AI 工具」和「AI副业玩法」,欢迎一起交流~ 行业在卷 AI 应用,而美图已经在卷 AI 工作流了………

【SpringBoot详细教程】-05-整合Druid操作数据库【持续更新】

文末看往期系列教程:给个关注可好? 🌲 SpringData简介 对于数据访问层,无论是 SQL (关系型数据库) 还是 NoSql (非关系型数据库),Spring Boot 底层都是采用 Spring Data 的方式进行统一处理。 Spring Boot 底层都是采…

VS Code激活python虚拟环境常见报错

VS Code激活python虚拟环境常见报错 问题1:执行激活 activate 报错 问题1:执行激活 activate 报错 解决: Win X *执行 set-executionpolicy remotesigned 再输入 Y

CrossOver24支持的游戏有那些

CrossOver刚刚更新了24版本,支持《地平线零之曙光》、《以撒的结合:重生》等游戏。一起来看看它有哪些更新吧! 一、功能优化 - 更新 Wine 至最新的稳定版 Wine 9.0,引入了 7000多个更新和针对各种软件游戏的优化。 - 更新 Wine M…

动静态库(Linux)

文章目录 前言一、静态库二、动态库三、深入理解动态库总结 前言 我们之前用过c语言的库.Linux中默认的都是使用动态库,如果想要使用静态库,就必须加上-static选项。默认都是安装的动态库,系统中一般没有静态库,如果要使用&#…

注册安全分析报告:闪送

前言 由于网站注册入口容易被黑客攻击,存在如下安全问题: 暴力破解密码,造成用户信息泄露短信盗刷的安全问题,影响业务及导致用户投诉带来经济损失,尤其是后付费客户,风险巨大,造成亏损无底洞…