Clickhouse笔记（二） 集群搭建

0.集群规划

操作系统使用ubuntu2204server，8C8G100G。

节点分片部署
192.168.50.5分片1副本1clickhouse-server/clickhouse-client/keeper
192.168.50.6分片1副本2clickhouse-server/clickhouse-client/keeper
192.168.60.7分片2副本1clickhouse-server/clickhouse-client/keeper
192.168.50.25分片2副本2clickhouse-server/clickhouse-client

四台主机都作为数据分片，每个数据分片有两个副本。keeper 部署到三个节点上，奇数节点用于实现 ClickHouse Keeper 中要求的票选数。

1.准备节点

  • 准备操作系统 ubuntu 或centos，尽量和你生产环境的操作系统版本一致
  • 统一时区，配置NTP（测试环境可以简略，只要节点的时区统一即可）
  • 配置ssh免密登录（可选）
1.1 使用指定的版本

根据实际情况安装指定版本的clickhouse.使用命令curl https://clickhouse.com/ | sh安装的clickhouse默认是最新版本的，但是有时我们需要安装指定的稳定版本，登录 https://packages.clickhouse.com/ 可以找到clickhouse为不同linux发行版本准备的各个版本的.

1.2 使用第三方版本

也可以使用Altinity的稳定版本 https://builds.altinity.cloud/

sudo apt update
sudo apt install -y curl gnupg2 apt-transport-https ca-certificates dialog
sudo sh -c 'mkdir -p /usr/share/keyrings && curl -s https://builds.altinity.cloud/apt-repo/pubkey.gpg | gpg --dearmor > /usr/share/keyrings/altinity-archive-keyring.gpg'
sudo sh -c 'echo "deb [signed-by=/usr/share/keyrings/altinity-archive-keyring.gpg] https://builds.altinity.cloud/apt-repo stable main" > /etc/apt/sources.list.d/altinity.list'
sudo apt update
sudo apt install -y clickhouse-server clickhouse-client

v24.4.1.2088-stable

🖊 上面两种安装方式任选一种，在每台服务器上安装clickhouse。

安装完成后使用下面的命令启动clickhouse.

sudo -u alfiy clickhouse server

也可以以服务的方式启动

sudo service clickhouse-server start

2.配置集群

注意，ClickHouse 要求每个分片的每个副本必须配置在单独的实例上，也就是说在整个集群范围内，一共有多少个副本，就需要创建多少个 ClickHouse 实例。最佳实践是3分片2副本6实例。

2.0 修改hosts

如果在clickhouse的配置中，使用了域名配置而不是IP地址，除非你的域名真实存在，否则需要修改本机的hosts文件。由于我同时测试了使用域名和IP两种配置方式，所以在本例中需要同时修改四个节点的hosts文件。

打开/etc/hosts文件，添加以下内容。

192.168.50.5 node1
192.168.50.6 node2
192.168.50.7 node3
192.168.50.25 node4

修改完成后，可以使用ping node1命令查看hosts是否生效，如果生效就能够ping的通。

2.1修改node1的配置

在node2的/etc/clickhouse-server/config.xml文件的标签中添加以下内容。

    <!-- 添加以下条目以允许通过网络接口进行外部通信。 --><listen_host>0.0.0.0</listen_host><!-- 指定实例启用 ClickHouse Keeper。更新每台服务器的＜server_id＞设置，node1为1、node2为2、node3为3。--><keeper_server><tcp_port>9181</tcp_port><server_id>1</server_id><log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path><snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path><coordination_settings><operation_timeout_ms>10000</operation_timeout_ms><session_timeout_ms>30000</session_timeout_ms><raft_logs_level>warning</raft_logs_level></coordination_settings><raft_configuration><server><id>1</id><hostname>192.168.50.5</hostname><port>9234</port></server><server><id>2</id><hostname>192.168.50.6</hostname><port>9234</port></server><server><id>3</id><hostname>192.168.50.7</hostname><port>9234</port></server></raft_configuration></keeper_server><!-- 指定实例所使用的 ClickHouse Keeper，可以使用域名也可以使用IP地址 --><zookeeper><node><host>192.168.50.5</host><port>9181</port></node><node><host>192.168.50.6</host><port>9181</port></node><node><host>192.168.60.7</host><port>9181</port></node></zookeeper><remote_servers><!-- cluster_2S_2R 标签为集群名称，可以自定义但集群中的节点保持一致 --><cluster_2S_2R><shard><replica><host>192.168.50.5</host><port>9000</port><user>default</user><password>your_password</password></replica><replica><host>192.168.50.6</host><port>9000</port><user>default</user><password>your_password</password></replica></shard><shard><replica><host>192.168.50.7</host><port>9000</port><user>default</user><password>your_password</password></replica><replica><host>192.168.50.25</host><port>9000</port><user>default</user><password>your_password</password></replica></shard></cluster_2S_2R></remote_servers><macros><!-- shard标签为分片数，replica为副本数 --><shard>01</shard><replica>01</replica></macros>

🖊 <server_id>1</server_id> 对应node1 <server_id>2</server_id>对应node2<server_id>3</server_id>对应node3

2.2 修改node2的配置

在node2的/etc/clickhouse-server/config.xml文件的标签中添加以下内容。

    <!-- 添加以下条目以允许通过网络接口进行外部通信。 --><listen_host>0.0.0.0</listen_host><keeper_server><tcp_port>9181</tcp_port><server_id>2</server_id><log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path><snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path><coordination_settings><operation_timeout_ms>10000</operation_timeout_ms><session_timeout_ms>30000</session_timeout_ms><raft_logs_level>warning</raft_logs_level></coordination_settings><!-- 指定实例启用 ClickHouse Keeper。更新每台服务器的＜server_id＞设置，node1为1、node2为2、node3为3。--><raft_configuration><server><id>1</id><hostname>node1</hostname><port>9234</port></server><server><id>2</id><hostname>node2</hostname><port>9234</port></server><server><id>3</id><hostname>node3</hostname><port>9234</port></server></raft_configuration></keeper_server><!-- 指定实例所使用的 ClickHouse Keeper 可以使用IP也可以使用域名，或者在hosts文件中配置域名 --><zookeeper><node><host>node1</host><port>9181</port></node><node><host>node2</host><port>9181</port></node><node><host>node3</host><port>9181</port></node></zookeeper><remote_servers><cluster_2S_2R><shard><replica><host>node1</host><port>9000</port><user>default</user><password>your_password</password></replica><replica><host>node2</host><port>9000</port><user>default</user><password>your_password</password></replica></shard><shard><replica><host>node3</host><port>9000</port><user>default</user><password>your_password</password></replica><replica><host>node4</host><port>9000</port><user>default</user><password>your_password</password></replica></shard></cluster_2S_2R></remote_servers><macros><shard>01</shard><replica>02</replica></macros>
2.3 修改node3的配置

在node3的/etc/clickhouse-server/config.xml文件的标签中添加以下内容。

    <!-- 添加以下条目以允许通过网络接口进行外部通信。 --><listen_host>0.0.0.0</listen_host><keeper_server><tcp_port>9181</tcp_port><server_id>2</server_id><log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path><snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path><coordination_settings><operation_timeout_ms>10000</operation_timeout_ms><session_timeout_ms>30000</session_timeout_ms><raft_logs_level>warning</raft_logs_level></coordination_settings><!-- 指定实例启用 ClickHouse Keeper。更新每台服务器的＜server_id＞设置，node1为1、node2为2、node3为3。--><raft_configuration><server><id>1</id><hostname>node1</hostname><port>9234</port></server><server><id>2</id><hostname>node2</hostname><port>9234</port></server><server><id>3</id><hostname>node3</hostname><port>9234</port></server></raft_configuration></keeper_server><!-- 指定实例所使用的 ClickHouse Keeper 可以使用IP也可以使用域名，或者在hosts文件中配置域名 --><zookeeper><node><host>node1</host><port>9181</port></node><node><host>node2</host><port>9181</port></node><node><host>node3</host><port>9181</port></node></zookeeper><remote_servers><cluster_2S_2R><shard><replica><host>node1</host><port>9000</port><user>default</user><password>your_password</password></replica><replica><host>node2</host><port>9000</port><user>default</user><password>your_password</password></replica></shard><shard><replica><host>node3</host><port>9000</port><user>default</user><password>your_password</password></replica><replica><host>node4</host><port>9000</port><user>default</user><password>your_password</password></replica></shard></cluster_2S_2R></remote_servers><macros><shard>02</shard><replica>01</replica></macros>

从以上配置文件中可以看出，node1,node2,node3的区别只是<macros></macros>标签中的区别。

2.4 修改node4的配置

在node4的/etc/clickhouse-server/config.xml文件的标签中添加以下内容。

<!-- 添加以下条目以允许通过网络接口进行外部通信。 -->
<listen_host>0.0.0.0</listen_host><!-- 指定实例所使用的 ClickHouse Keeper -->
<zookeeper><node><host>node1</host><port>9181</port></node><node><host>node2</host><port>9181</port></node><node><host>node3</host><port>9181</port></node>
</zookeeper><remote_servers><cluster_2S_2R><shard><replica><host>node1</host><port>9000</port><user>default</user><password>your_password</password></replica><replica><host>node2</host><port>9000</port><user>default</user><password>your_password</password></replica></shard><shard><replica><host>node3</host><port>9000</port><user>default</user><password>your_password</password></replica><replica><host>node4</host><port>9000</port><user>default</user><password>your_password</password></replica></shard></cluster_2S_2R>
</remote_servers>
<macros><shard>02</shard><replica>02</replica>
</macros>

3.查看集群

集群启动后，可以使用clickhouse client登录客户端，使用以下命令查看集群的相关信息。

SHOW CLUSTERS;

SELECT *
FROM system.zookeeper
WHERE path IN ('/', '/clickhouse');

这个查询时间有点长

SELECTcluster,shard_num,replica_num,host_name,is_local,user,database_shard_name,database_replica_name
FROM system.clusters;

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/455432.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ECharts饼图-饼图纹理，附视频讲解与代码下载

ECharts饼图-饼图纹理，附视频讲解与代码下载

引言&#xff1a; 在数据可视化的世界里&#xff0c;ECharts凭借其丰富的图表类型和强大的配置能力&#xff0c;成为了众多开发者的首选。今天&#xff0c;我将带大家一起实现一个饼图图表&#xff0c;通过该图表我们可以直观地展示和分析数据。此外&#xff0c;我还将提供详…
阅读更多...
day7：软件包管理

day7：软件包管理

一&#xff0c;软件包概述 软件包概述 软件包用于安装&#xff0c;升级&#xff0c;卸载一个软件 软件包类型 二进制包 源码经过了编译&#xff08;而且成功了&#xff09;后产生的包&#xff0c;二进制包是linux下默认的安装包 编译好的文件&#xff0c;直接使用&#xff…
阅读更多...
音质最好的麦克风有哪些？领夹麦克风哪个品牌好？麦克风十大品牌

音质最好的麦克风有哪些？领夹麦克风哪个品牌好？麦克风十大品牌

在当下自媒体行业蓬勃发展的背景下&#xff0c;无线领夹麦克风已成为众多内容创作者不可或缺的装备。市场上的无线领夹麦克风种类繁多&#xff0c;品质参差不齐&#xff0c;价格也相差悬殊&#xff0c;这使得选购一款合适的麦克风变得颇具挑战性。许多消费者在追求性价比的过程…
阅读更多...
无人机避障——路径规划篇（一） JPS跳点搜索算法A*算法对比

无人机避障——路径规划篇（一） JPS跳点搜索算法A*算法对比

JSP 跳点搜索算法与改进 A*算法对比 一、算法概述: 跳点搜索(Jump Point Search,JPS)算法:一种用于路径规划的启发式搜索算法。它主要用于在网格地图(如游戏地图、机器人运动规划地图等)中快速找到从起点到终点的最短路径。该算法在改进 A*算法的基础上进行了优化,通过跳过一…
阅读更多...
自由学习记录（12）

自由学习记录（12）

综合实践 2D的Shape&#xff0c;Tilemap都要导包的&#xff0c;编辑器也要导包&#xff0c;。。和2d沾边的可能3d都要主动导包 应该综合的去运用&#xff0c;不见得Tilemap就很万能&#xff0c;如果要做什么顶方块的有交互反应的物体&#xff0c; 那直接拖Sprite会更方便一些…
阅读更多...
大路灯护眼灯是智商税吗?五款口碑最好的落地灯品牌分享

大路灯护眼灯是智商税吗?五款口碑最好的落地灯品牌分享

大路灯护眼灯是智商税吗?在当前照明灯具中&#xff0c;护眼灯大路灯并不是智商税&#xff01;护眼大路灯因其出色的灯光和舒适度效果而受到广泛欢迎。面对市场众多的护眼大路灯产品&#xff0c;选择一把优质的护眼大路灯显得尤为重要。低质量的护眼大路灯不仅性能不佳&#xf…
阅读更多...
探索音频在线剪辑工具的奇妙世界

探索音频在线剪辑工具的奇妙世界

无论是专业的音频制作人&#xff0c;还是普通的音乐爱好者&#xff0c;都可能需要对音频进行剪辑和编辑。我比较建议从低成本的工具开始入手避免浪费&#xff0c;今天我推荐几款音频在线剪辑工具一起看看这些共苦如何打造作品吧。 1.福昕音频剪辑 教程链接&#xff1a;https:…
阅读更多...
初学者如何学习网络安全，零基础入门到精通，收藏这一篇就够了

初学者如何学习网络安全，零基础入门到精通，收藏这一篇就够了

学习任何技术或知识前&#xff0c;需要培养好的学习习惯&#xff0c;投入时间和精力去进行钻研&#xff0c;培养兴趣和学习能力&#xff0c;并能通过搜索引擎解决问题。对于网络安全学习来说&#xff0c;要掌握学习方法&#xff0c;因为它的知识面广且复杂。 之前看到一张&quo…
阅读更多...
初始JavaEE篇——多线程（2）：join的用法、线程安全问题

初始JavaEE篇——多线程（2）：join的用法、线程安全问题

找往期文章包括但不限于本期文章中不懂的知识点&#xff1a; 个人主页&#xff1a;我要学编程(ಥ_ಥ)-CSDN博客 所属专栏&#xff1a;JavaEE 目录 模拟实现线程中断 join的用法 线程的状态 NEW&#xff1a; RUNNABLE&#xff1a; TIMED_WAITING&#xff1a; TERMINATED…
阅读更多...
苍穹外卖--开发记录day11

苍穹外卖--开发记录day11

目录 苍穹外卖day11一&#xff1a;apache-Echarts简单了解二&#xff1a;营业额统计四&#xff1a;用户统计五&#xff1a;订单统计六&#xff1a;销量排名统计 总结 苍穹外卖day11 一&#xff1a;apache-Echarts简单了解 二&#xff1a;营业额统计 外链图片转存失败,源站可能…
阅读更多...
深入解析C++游戏开发：从基础到高级应用

深入解析C++游戏开发：从基础到高级应用

目录 深入解析C游戏开发&#xff1a;从基础到高级应用 目录 为何选择C进行游戏开发 高性能与高效率 强大的内存管理 广泛的库和框架支持 丰富的社区资源 C游戏开发基础 C基础知识 面向对象编程 常用设计模式 游戏开发流程 设计与规划 选择引擎和工具 架构设计 …
阅读更多...
Data+AI━━隐私都没了，还不懂用户画像吗？

Data+AI━━隐私都没了，还不懂用户画像吗？

DataAI━━隐私都没了&#xff0c;还不懂用户画像吗&#xff1f; 前言用户画像是什么&#xff1f;用户画像的应用场景DataAI下如何构建用户画像 前言 数据驱动的时代&#xff0c;用户画像已经成为商业和技术领域的热门话题。无论你在电商、金融、广告还是社交媒体&#xff0c;…
阅读更多...
从零开始学python必看，最强“Python编程三剑客（pdf）”

从零开始学python必看，最强“Python编程三剑客（pdf）”

目录 三剑客PDF传送门&#xff1a;三剑客 第一本&#xff1a;《Python编程&#xff1a;从入门到实践》 1.1《Python编程&#xff1a;从入门到实践》第一部分&#xff1a;基础知识 1.2《Python编程&#xff1a;从入门到实践》第二部分&#xff1a;项目 第二本&#xff1a;《…
阅读更多...
css模糊遮罩效果

css模糊遮罩效果

原图&#xff1a; 模糊后的图片&#xff1a; html: <div class"bj"><div class"mengban"></div> </div> css: .bj {width: 750rpx;height: 643rpx;background-image:url(https://onlinekc.a.hlidc.cn/uploads/20241023/9e552fc…
阅读更多...
大话网络协议：HTTPS协议和HTTP协议有何不同？为什么HTTPS更安全

大话网络协议：HTTPS协议和HTTP协议有何不同？为什么HTTPS更安全

大家现在访问网络，浏览网页，注意一下的话，网址前面基本上都是一个 https:// 的前缀，这里就是说明这个网址所采用的协议是 https 协议。那么具体应该怎么理解 https 呢？ 本文我们就力争能清楚地解释明白这个我们目前应该最广的协议。 理解HTTP协议 要解释 https 协议，当…
阅读更多...
FPGA采集adc，IP核用法，AD驱动（上半部分）

FPGA采集adc，IP核用法，AD驱动（上半部分）

未完结&#xff0c;明天补全 IP核&#xff1a;集成的一个现有的模块 串口写好后基本不会再修改串口模块内部的一些逻辑&#xff0c;将串口.v文件添加进来&#xff0c;之后通过他的上层的接口去对他进行使用&#xff0c;所以我们打包IP&#xff0c;之后就不用去添加源文件了&a…
阅读更多...
无人机和鸟数据集，无人机数据集+鸟数据集 yolo格式，可以直接用于模型的训练。7000张，图片自己打的标签 yolov5-yolov10通用

无人机和鸟数据集，无人机数据集+鸟数据集 yolo格式，可以直接用于模型的训练。7000张，图片自己打的标签 yolov5-yolov10通用

无人机和鸟数据集&#xff0c;无人机数据集鸟数据集 yolo格式&#xff0c;可以直接用于模型的训练。7000张&#xff0c;图片自己打的标签 yolov5-yolov10通用 无人机及鸟类目标检测数据集规模&#xff1a; 总图像数量&#xff1a;约7,000张类别&#xff1a;2类检测目标 Drone&…
阅读更多...
从一个简单的计算问题，看国内几个大语言模型推理逻辑能力

从一个简单的计算问题，看国内几个大语言模型推理逻辑能力

引言 首先&#xff0c;来看问题&#xff1a; 123456*987654等于多少&#xff0c;给出你计算的过程。 从openai推出chatgpt以来&#xff0c;大模型发展的很快&#xff0c;笔者也经常使用免费的大语言模型辅助进行文档编写和编码工作。大模型推出时间也好久了&#xff0c;笔者想…
阅读更多...
【独家:AI编程助手Cursor如何revolutionize Java设计模式学习】

【独家:AI编程助手Cursor如何revolutionize Java设计模式学习】

【独家:AI编程助手Cursor如何revolutionize Java设计模式学习】 导语 在Java高级编程的世界里,设计模式是每个开发者必须掌握的利器。但是,如何快速理解并灵活运用这些模式呢?让我们一起探索如何借助AI编程助手Cursor,轻松掌握设计模式,提升Java编程技能! 正文 设计模式:J…
阅读更多...
易控天地|易控天地标准版3.0（EconTNT STD3.0）安装记录

易控天地|易控天地标准版3.0（EconTNT STD3.0）安装记录

哈喽&#xff0c;你好啊&#xff0c;我是雷工&#xff01; 以前使用过的组态软件WinCC、杰控、MCGS、组态王、KingSCADA、KingFunsion等&#xff0c; 关于易控天地去年在现场见到过&#xff0c;接下来安装体验下易控天地&#xff1b; 以下为安装笔记。 01 解压缩 下载完安装…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023