StarRocks 部署：依赖环境

       StarRocks 介绍：极速全场景 MPP数据库starrocks介绍-CSDN博客

       StarRocks 官方建议部署在x86服务器上，但是根据我们的部署经验，国产的ARM服务器上也可以部署，比如华为 鲲鹏920处理器 ，国产系统也可以部署，比如阿里龙溪，只不过部署过程比较复杂。以下是常规部署。

目录

部署前提条件

硬件​

CPU​

内存​

存储​

网络​

操作系统​

软件​

检查环境配置

端口​

FE 端口​

BE 端口​

CN 端口​

主机名​

JDK 设置​

CPU Scaling Governor​

内存设置​

Memory Overcommit​

Transparent Huge Pages​

Swap Space​

Swappiness​

存储设置​

SATA​

SSD 和 NVMe​

SELinux​

防火墙​

LANG 变量​

时区​

ulimit 设置​

文件系统配置​

网络配置​

tcp_abort_on_overflow​

somaxconn​

NTP 设置​

高并发配置​

max_map_count​

其他​

部署前提条件

硬件​

CPU​

StarRocks 依靠 AVX2 指令集充分发挥其矢量化能力。因此，在生产环境中，建议将 StarRocks 部署于 x86 架构 CPU 的服务器上。

可以在终端中运行以下命令来检查 CPU 是否支持 AVX2 指令集：

cat /proc/cpuinfo | grep avx2

内存​

通常，FE 服务不会消耗大量的 CPU 和内存资源。建议您为每个 FE 节点分配 8 个 CPU 内核和 16 GB RAM。

与 FE 服务不同，如果应用程序需要在大型数据集上处理高度并发或复杂的查询，BE 服务可能会使用大量 CPU 和内存资源。因此，建议为每个 BE 节点分配 16 个 CPU 内核和 64 GB RAM。

存储​

StarRocks 支持 HDD 和 SSD 作为存储介质。

在实时数据分析场景、以及涉及大量数据扫描或随机磁盘访问的场景下，强烈建议选择 SSD 作为存储介质。

在涉及主键表持久化索引的场景中，必须使用 SSD 作为存储介质。

网络​

建议使用万兆网络连接（10 Gigabit Ethernet，简称 10 GE）确保 StarRocks 集群内数据能够跨节点高效传输。

操作系统​

StarRocks 支持在 Red Hat Enterprise Linux 7.9、CentOS Linux 7.9 或 Ubuntu Linux 22.04 上部署。

软件​

您必须在服务器上安装 JDK 8 以运行 StarRocks。v2.5 及以上版本建议安装 JDK 11。

注意

  • StarRocks 不支持 JRE。
  • 如果您需要在 Ubuntu 22.04 上部署 StarRocks，则必须安装 JDK 11。

按照以下步骤安装 JDK 8：

  1. 进入需要安装 JDK 的路径。

  2. 运行以下命令下载 JDK：

wget --no-check-certificate --no-cookies \--header "Cookie: oraclelicense=accept-securebackup-cookie"  \http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

检查环境配置

本文列出了在部署 StarRocks 之前需要检查并配置的所有环境和系统配置项。正确设置这些配置项可以确保集群的高可用并提升性能。

端口​

StarRocks 为不同的服务使用特定的端口。如果您在这些实例上部署了其他服务，请检查这些端口是否被占用。

FE 端口​

在用于 FE 部署的实例上，您需要检查以下端口：

  • 8030：FE HTTP Server 端口（http_port）
  • 9020：FE Thrift Server 端口（rpc_port）
  • 9030：FE MySQL Server 端口（query_port）
  • 9010：FE 内部通讯端口（edit_log_port）
  • 6090：FE 云原生元数据服务 RPC 监听端口（cloud_native_meta_port）

在 FE 实例上执行如下命令查看这些端口是否被占用：

netstat -tunlp | grep 8030
netstat -tunlp | grep 9020
netstat -tunlp | grep 9030
netstat -tunlp | grep 9010
netstat -tunlp | grep 6090

BE 端口​

在用于 BE 部署的实例上，您需要检查以下端口：

  • 9060：BE Thrift Server 端口（be_port）
  • 8040：BE HTTP Server 端口（be_http_port）
  • 9050：BE 心跳服务端口（heartbeat_service_port）
  • 8060：BE bRPC 端口（brpc_port）
  • 9070：BE 和 CN 的额外 Agent 服务端口。（starlet_port）

在 BE 实例上执行如下命令查看这些端口是否被占用：

netstat -tunlp | grep 9060
netstat -tunlp | grep 8040
netstat -tunlp | grep 9050
netstat -tunlp | grep 8060
netstat -tunlp | grep 9070

CN 端口​

在用于 CN 部署的实例上，您需要检查以下端口：

  • 9060：CN Thrift Server 端口（be_port）
  • 8040：CN HTTP Server 端口（be_http_port）
  • 9050：CN 心跳服务端口（heartbeat_service_port）
  • 8060：CN bRPC 端口（brpc_port）
  • 9070：BE 和 CN 的额外 Agent 服务端口。（starlet_port）

在 CN 实例上执行如下命令查看这些端口是否被占用：

netstat -tunlp | grep 9060
netstat -tunlp | grep 8040
netstat -tunlp | grep 9050
netstat -tunlp | grep 8060
netstat -tunlp | grep 9070

主机名​

如需为您的 StarRocks 集群启用 FQDN 访问，您必须为每个实例设置一个主机名。

在每个实例的 /etc/hosts 文件中，您必须指定集群中其他实例的 IP 地址和相应的主机名。

注意

/etc/hosts 文件中的所有 IP 地址都必须是唯一。

JDK 设置​

StarRocks 依靠环境变量 JAVA_HOME 定位实例上的 Java 依赖项。

运行以下命令查看环境变量 JAVA_HOME：

echo $JAVA_HOME

按照以下步骤设置 JAVA_HOME：

  1. 在 /etc/profile 文件中设置 JAVA_HOME：

    sudo  vi /etc/profile
# 将 <path_to_JDK> 替换为 JDK 的安装路径。
export JAVA_HOME=<path_to_JDK>
export PATH=$PATH:$JAVA_HOME/bin

  2. 使变更生效：

    source /etc/profile

运行以下命令验证变更是否成功：

java -version

CPU Scaling Governor​

该配置项为可选配置项。如果您的 CPU 不支持 Scaling Governor，则可以跳过该项。

CPU Scaling Governor 用于控制 CPU 能耗模式。如果您的 CPU 支持该配置项，建议您将其设置为 performance 以获得更好的 CPU 性能：

echo 'performance' | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

内存设置​

Memory Overcommit​

Memory Overcommit 允许操作系统将额外的内存资源分配给进程。建议您启用 Memory Overcommit。

# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
vm.overcommit_memory=1
EOF
# 使修改生效。
sysctl -p

Transparent Huge Pages​

Transparent Huge Pages 默认启用。因其会干扰内存分配，进而导致性能下降，建议您禁用此功能。

# 临时变更。
echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/enabled
echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/defrag
# 永久变更。
cat >> /etc/rc.d/rc.local << EOF
if test -f /sys/kernel/mm/transparent_hugepage/enabled; thenecho madvise > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho madvise > /sys/kernel/mm/transparent_hugepage/defrag
fi
EOF
chmod +x /etc/rc.d/rc.local

Swap Space​

建议您禁用 Swap Space。

检查并禁用 Swap Space 操作步骤如下：

  1. 关闭 Swap Space。

    swapoff /<path_to_swap_space>
swapoff -a

  2. 从 /etc/fstab 文件中删除 Swap Space 信息。

    /<path_to_swap_space> swap swap defaults 0 0

  3. 确认 Swap Space 已关闭。

    free -m

Swappiness​

Swappiness 会对性能造成影响，因此建议您禁用 Swappiness。

# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
vm.swappiness=0
EOF
# 使修改生效。
sysctl -p

存储设置​

建议您根据所选用的存储介质来确定合适的调度算法。

您可以使用以下命令检查您当前使用的调度算法：

cat /sys/block/${disk}/queue/scheduler
# 例如，运行 cat /sys/block/vdb/queue/scheduler

推荐您为 SATA 磁盘使用 mq-deadline 调度算法，为 NVMe 或 SSD 磁盘使用 kyber 调度算法。

SATA​

mq-deadline 调度算法适合 SATA 磁盘。

# 临时变更。
echo mq-deadline | sudo tee /sys/block/${disk}/queue/scheduler
# 永久变更。
cat >> /etc/rc.d/rc.local << EOF
echo mq-deadline | sudo tee /sys/block/${disk}/queue/scheduler
EOF
chmod +x /etc/rc.d/rc.local

SSD 和 NVMe​

  • 如果您的 NVMe 或 SSD 磁盘支持 kyber 调度算法。

    # 临时变更。
echo kyber | sudo tee /sys/block/${disk}/queue/scheduler
# 永久变更。
cat >> /etc/rc.d/rc.local << EOF
echo kyber | sudo tee /sys/block/${disk}/queue/scheduler
EOF
chmod +x /etc/rc.d/rc.local

  • 如果您的系统不支持 SSD 和 NVMe 的 kyber 调度算法，建议您使用 none（或 noop）调度算法。

    # 临时变更。
echo none | sudo tee /sys/block/vdb/queue/scheduler
# 永久变更。
cat >> /etc/rc.d/rc.local << EOF
echo none | sudo tee /sys/block/${disk}/queue/scheduler
EOF
chmod +x /etc/rc.d/rc.local

SELinux​

建议您禁用 SELinux。

# 临时变更。
setenforce 0
# 永久变更。
sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
sed -i 's/SELINUXTYPE/#SELINUXTYPE/' /etc/selinux/config

防火墙​

如果您启用了防火墙，请为 FE、BE 和 Broker 开启内部端口。

systemctl stop firewalld.service
systemctl disable firewalld.service

LANG 变量​

您需要使用以下命令手动检查和配置 LANG 变量：

# 修改配置文件。
echo "export LANG=en_US.UTF8" >> /etc/profile
# 使修改生效。
source /etc/profile

时区​

请根据您所在的实际时区设置此项。

以下示例将时区设置为 /Asia/Shanghai。

cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
hwclock

ulimit 设置​

如果最大文件描述符和最大用户进程的值设置得过小，StarRocks 运行可能会出现问题。建议您将系统资源上限调大。

cat >> /etc/security/limits.conf << EOF
* soft nproc 65535
* hard nproc 65535
* soft nofile 655350
* hard nofile 655350
* soft stack unlimited
* hard stack unlimited
* hard memlock unlimited
* soft memlock unlimited
EOFcat >> /etc/security/limits.d/20-nproc.conf << EOF 
*          soft    nproc     65535
root       soft    nproc     65535
EOF

文件系统配置​

建议您使用 ext4 或 xfs 日志文件系统。您可以运行以下命令来检查挂载类型：

df -Th

网络配置​

tcp_abort_on_overflow​

如果系统当前因后台进程无法处理的新连接而溢出，则允许系统重置新连接：

# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
net.ipv4.tcp_abort_on_overflow=1
EOF
# 使修改生效。
sysctl -p

somaxconn​

设置监听 Socket 队列的最大连接请求数为 1024：

# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
net.core.somaxconn=1024
EOF
# 使修改生效。
sysctl -p

NTP 设置​

需要在 StarRocks 集群各节点之间配置时间同步，从而保证事务的线性一致性。您可以使用 pool.ntp.org 提供的互联网时间服务，也可以使用离线环境内置的 NTP 服务。例如，您可以使用云服务提供商提供的 NTP 服务。

  1. 查看 NTP 时间服务器或 Chrony 服务是否存在。

    rpm -qa | grep ntp
systemctl status chronyd

  2. 如不存在，运行以下命令安装 NTP 时间服务器。

    sudo yum install ntp ntpdate && \
sudo systemctl start ntpd.service && \
sudo systemctl enable ntpd.service

  3. 检查 NTP 服务。

    systemctl list-unit-files | grep ntp

  4. 检查 NTP 服务连接和监控状态。

    netstat -tunlp | grep ntp

  5. 检查服务是否与 NTP 服务器同步。

    ntpstat

  6. 检查网络中的 NTP 服务器。

    ntpq -p

高并发配置​

如果您的 StarRocks 集群负载并发较高，建议您进行如下配置.

max_map_count​

进程可以拥有的 VMA（虚拟内存区域）的数量。将该值调整为 262144：

# 修改配置文件。
cat >> /etc/sysctl.conf << EOF
vm.max_map_count = 262144
EOF
# 使修改生效。
sysctl -p

其他​

echo 120000 > /proc/sys/kernel/threads-max
echo 200000 > /proc/sys/kernel/pid_max

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/42888.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【QT继承QLabel实现绘制矩形、椭圆、直线、多边形功能，并且支持修改大小，移动位置，复制，粘贴，删除功能】

【QT继承QLabel实现绘制矩形、椭圆、直线、多边形功能，并且支持修改大小，移动位置，复制，粘贴，删除功能】

文章目录 介绍绘制一个矩形&#xff08;椭圆&#xff09;roi绘制一个多边形roi对矩形roi的缩放&#xff1a;对多边形rio的缩放&#xff08;移动点的位置&#xff09; 介绍 绘制矩形&#xff0c;椭圆&#xff0c;直线实际用的都是是同一个思路&#xff1a;鼠标第一次点击就确定…
阅读更多...
3.0 Disruptor的使用介绍(一)

3.0 Disruptor的使用介绍(一)

Disruptor: 其官网定义为&#xff1a;“A High Performance Inter-Thread Messaging Library”&#xff0c;即&#xff1a;线程间的高性能消息框架&#xff0c;与Labview的生产者、消费者模型很相似。 其组成部分比较多&#xff0c;先介绍几个常用的概念&#xff1a; …
阅读更多...
ubuntu 2204键盘按键映射修改

ubuntu 2204键盘按键映射修改

键盘的按键和实际输出不一致&#xff0c;可以通过以下方法重新修改按键keycode. 1.在终端执行如下命令&#xff1a; xev -event keyboard 上边64是alt_l&#xff0c;但是键盘上对应的super(windows)。 2.vim /usr/share/X11/xkb/keycodes/evdev //<LALT> 64; 注释&l…
阅读更多...
【Linux】System V共享内存：零拷贝加速进程通信！

【Linux】System V共享内存：零拷贝加速进程通信！

引言 本文深入探讨System V IPC中的共享内存技术&#xff0c;涵盖其原理、操作步骤、实现细节及与其他IPC机制的关系&#xff0c;助力读者全面掌握这一高效进程间通信方式。 &#x1f4dd; 文章总结&#xff1a; 共享内存原理 System V共享内存通过让多个进程共享同一物理内存区…
阅读更多...
UE4学习笔记 FPS游戏制作31 显示计分板

UE4学习笔记 FPS游戏制作31 显示计分板

一 制作计分板 创建一个RankPanel的UI蓝图 在蓝图里拖入如下物体 覆层&#xff08;layout&#xff09;&#xff1a;让子物体跟随自己缩放&#xff0c;子物体需要设置为拉伸模式&#xff0c;有点类似于的panel&#xff0c;本身只是一个容器 调整各个物体 覆层&#xff1a; 锚…
阅读更多...
如何在Linux CentOS上安装和配置Redis

如何在Linux CentOS上安装和配置Redis

如何在Linux CentOS上安装和配置Redis 大家好&#xff0c;我是曾续缘。欢迎来到本教程&#xff01;今天我将向您介绍在Linux CentOS上安装和配置Redis的详细步骤。Redis是一个高性能的键值存储系统&#xff0c;常用于缓存、消息队列和数据持久化等应用场景。让我们一起开始吧&…
阅读更多...
Realsense-D400 系列手动曝光控制

Realsense-D400 系列手动曝光控制

文章目录 1、曝光 & 增益2、曝光 & 帧率3、调参 & 加载4、高级控制选项5、官方文档参考小结 1、曝光 & 增益 曝光exposure&#xff1a;英特尔 RealSense D400设备模组中的可见光 RGB 传感器和红外左右目传感器具有单独的曝光控制&#xff0c;对于双目红外&…
阅读更多...
最大异或对 The XOR Largest Pair

最大异或对 The XOR Largest Pair

题目来自洛谷网站&#xff1a; 思路&#xff1a; 两个循环时间复杂度太高了&#xff0c;会超时。 我们可以先将读入的数字&#xff0c;插入到字典树中&#xff0c;从高位到低位。对每个数查询的时候&#xff0c;题目要求是最大的异或对&#xff0c;所以我们选择相反的路径&am…
阅读更多...
探索 curl ipinfo.io：从命令行获取你的网络身份卡！！！

探索 curl ipinfo.io：从命令行获取你的网络身份卡！！！

&#x1f310; 探索 curl ipinfo.io&#xff1a;从命令行获取你的网络身份卡 &#x1faaa; &#x1f680; 简介&#xff1a;为什么需要 curl ipinfo.io&#xff1f; 当你在调试网络服务、排查访问限制或开发基于地理位置的应用时&#xff0c;公网 IP 信息就像一张网络身份证。…
阅读更多...
Chrome(Google) 浏览器安装Vue2、Vue3 Devtools插件方法

Chrome(Google) 浏览器安装Vue2、Vue3 Devtools插件方法

方式一&#xff1a;本地下载安装 步骤一&#xff1a;下载 网站:极简插件官网_Chrome插件下载_Chrome浏览器应用商店 步骤二&#xff1a;下载后解压,并拖入浏览器扩展页面&#xff0c;安装插件后&#xff0c;重启浏览器。 步骤三&#xff1a;查看是否安装成功 方式二&#x…
阅读更多...
树莓派超全系列文档--(7)RaspberryOS播放音频和视频

树莓派超全系列文档--(7)RaspberryOS播放音频和视频

播放音频和视频 播放音频和视频VLC 媒体播放器vlc GUIvlc CLI使用 cvlc 在没有图形用户界面的情况下播放媒体 在 Raspberry Pi OS Lite 上播放音频和视频指定音频输出设备指定视频输出设备同时指定音频和视频输出设备提高数据流播放性能 文章来源&#xff1a; http://raspberr…
阅读更多...
MySQL 8.0.41安装教程（附安装包）mysql8.0.41图文详细安装教程

MySQL 8.0.41安装教程（附安装包）mysql8.0.41图文详细安装教程

文章目录 前言一、MySQL 8.0.41下载安装包二、MySQL 8.0.41安装教程1.启动安装程序2.选择安装模式3.选定安装组件4.确认安装设置5.执行安装操作6.安装进行中7.设置数据库密码8.继续点击下一步9.执行配置操作10.完成配置11. 再次点击下一步12.结束安装向导 三、MySQL 8.0.41配置…
阅读更多...
centos7 linux VMware虚拟机新添加的网卡，能看到网卡名称，但是看不到网卡的配置文件

centos7 linux VMware虚拟机新添加的网卡，能看到网卡名称，但是看不到网卡的配置文件

问题现象&#xff1a;VMware虚拟机新添加的网卡&#xff0c;能看到网卡&#xff0c;但是看不到网卡的配置文件 解决方案&#xff1a; nmcli connection show nmcli connection add con-name ens36 ifname ens36 type ethernet #创建一个网卡连接配置文件&#xff0c;这里con…
阅读更多...
【LVS】负载均衡群集部署（DR模式）

【LVS】负载均衡群集部署（DR模式）

部署前IP分配 DR服务器&#xff1a;192.168.166.101 vip&#xff1a;192.168.166.100 Web服务器1&#xff1a;192.168.166.104 vip&#xff1a;192.168.166.100 Web服务器2&#xff1a;192.168.166.107 vip&#xff1a;192.168.166.100 NFS服务器&#xff1a;192.168.166.108 …
阅读更多...
服务器与客户端通讯测试

服务器与客户端通讯测试

服务器与客户端通讯测试 1 服务器与客户端通讯建立1.1 Main函数1.2 开启服务器1.3 客户端连接服务器1.4 扩展类 2 测试过程2.1 测试12.2 测试22.3 测试32.4 测试4 3 测试总结 测试服务器与客户端通讯时&#xff0c;发现数据丢包问题非常严重&#xff0c;肯定是自己的问题不会是…
阅读更多...
Next.js 中间件鉴权绕过漏洞 (CVE-2025-29927) 复现利用与原理分析

Next.js 中间件鉴权绕过漏洞 (CVE-2025-29927) 复现利用与原理分析

免责声明 本文所述漏洞复现方法仅供安全研究及授权测试使用&#xff1b; 任何个人/组织须在合法合规前提下实施&#xff0c;严禁用于非法目的&#xff1b; 作者不对任何滥用行为及后果负责&#xff0c;如发现新漏洞请及时联系厂商并遵循漏洞披露规则。 漏洞原理 Next.js 是一个…
阅读更多...
基于STC89C51的太阳自动跟踪系统的设计与实现—单片机控制步进电机实现太阳跟踪控制(仿真+程序+原理图+PCB+文档)

基于STC89C51的太阳自动跟踪系统的设计与实现—单片机控制步进电机实现太阳跟踪控制(仿真+程序+原理图+PCB+文档)

摘 要 随着我国经济的飞速发展&#xff0c;促使各种能源使用入不敷出&#xff0c;尤其是最主要的能源&#xff0c;煤炭石油资源不断消耗与短缺&#xff0c;因此人类寻找其他替代能源的脚步正在加快。而太阳能则具有无污染﹑可再生﹑储量大等优点&#xff0c;且分布范围广&…
阅读更多...
在 Mermaid 流程图里“驯服”quot；的魔法指南！！！

在 Mermaid 流程图里“驯服”quot；的魔法指南！！！

&#x1f409; 在 Mermaid 流程图里“驯服”"的魔法指南 在使用 Mermaid 画流程图时&#xff0c;是不是经常遇到想秀一波 &quot; 却被它“反杀”的情况&#xff1f;&#x1f3af; 今天就来教大家如何在这头代码野兽的嘴里&#xff0c;抢回我们的双引号实体编码&#…
阅读更多...
SQL语句---DDL

SQL语句---DDL

文章目录 1、SQL语句2、DDL2.1 数据库的操作显示当前的数据库创建数据库指定编码删除数据库切换当前数据库 2.2 数据表的操作显示表创建表显示表结构修改表添加新的字段删除原有字段 修改原有字段删除数据表 2.3 Mysql数据库中常用的数据类型 1、SQL语句 结构化查询语句&#…
阅读更多...
界面控件Telerik和Kendo UI 2025 Q1亮点——AI集成与数据可视化

界面控件Telerik和Kendo UI 2025 Q1亮点——AI集成与数据可视化

Telerik DevCraft包含一个完整的产品栈来构建您下一个Web、移动和桌面应用程序。它使用HTML和每个.NET平台的UI库&#xff0c;加快开发速度。Telerik DevCraft提供完整的工具箱&#xff0c;用于构建现代和面向未来的业务应用程序&#xff0c;目前提供UI for ASP.NET MVC、Kendo…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023