技术流 | ClickHouse工具ckman v3.1.3 sinker v3.1.8 版本发布

【本文作者:擎创科技 ClickHouse专家,ckman作者禹鼎侯】

在这个端午小长假里,ckman和clickhouse_sinker分别带来了全新的版本。让我们一起来看看,新版本都有哪些新特性吧!

ckman v3.1.3新版本特性

ckman v3.1.3作为3.1最后一个迭代版本,并没有带来比较大的功能特性,主要还是BUG修复和现有功能优化。(后续推出的3.2.x版本,将带来普通用户、只读用户管理,clickhouse-keeper集成等全新功能,预计七、八月份发布)

v3.1.3主要更新内容如下:

  1. 增加节点指标仪表盘展示(仅clickhouse23.3以后版本支持)

图片

点击后跳转:

图片

2. 修复:merge指标progress和merge耗时显示不正确的问题

3. 优化:销毁集群时,同步删除zookeeper上task_queue节点

4. 修复:同时增加多个节点时,仅有第一个节点会同步表schema的问题

5. 优化:同步逻辑表schema时,对于分布式表和逻辑表,不再删除重建,而是增量加列,避免表删除后创建不及时,导致查询报错

6. 修复:增加quotas时报错

7. 修复:clickhouse 24.3版本,集群管理页面磁盘展示不出来的问题

8. 优化:重构恢复只读表的逻辑,仅在只读节点上执行restore replica命令

9. 优化:获取标指标不再使用'{cluster}'宏,避免导入的集群无此宏报错

10. 修复:表指标页面展示分区时,排除掉inactive的part

11. 修复:由于alter_sync仅在23.3以后版本生效,23.3以前的版本alter操作仍为同步操作

clickhouse_sinker v3.1.8 新版本特性

1. 优化:动态列增加改为异步方式(23.3版本以前仍为同步方式)

2. 优化:如果没有指定http-port,则禁用http服务,避免安全漏洞(旧逻辑为随机端口)

3. 优化:当指定http-port时,如果端口冲突(如同一台机器上启动多个实例), 端口自动+1

4. 功能:支持IPv4/IPv6数据类型

5. 功能:增加record_pool_size做流控功能,防止启动瞬间内存爆炸

6. 优化:clickhouse-client默认启用lz4压缩

7. 功能:增加kafka producer高级配置参数,由于优化rebalance带来的重复消费、heartbeat error等问题

8. 功能:支持http协议,支持华为MRS kerberos认证

9. 优化:第一次连接clickhouse时,在分片内随机选择一个节点,而不是

默认取第一个,防止上百个sinker进程同时运行,造成第一个副本负载高,副本之间同步压力大

10. 优化:未指定shardingkey时,按照offset路由到每个分片,当kafka的topic有多个partition时,offset会重复,造成短时间内写入不均衡的问题

如何体验新版本

你可以从GitHub上最新的release页面下载对应的rpm安装包:

ckman:

https://github.com/housepower/ckman/releases/tag/v3.1.3

clickhouse_sinker:

https://github.com/housepower/clickhouse_sinker/releases/tag/v3.1.8

———— The END ————

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/352026.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Kubernetes】k8s 自动伸缩机制—— HPA 部署

一、在K8s中扩缩容分为两种: ●Node层面:对K8s物理节点扩容和缩容,根据业务规模实现物理节点自动扩缩容 ●Pod层面:我们一般会使用Deployment中的Replicas参数,设置多个副本集来保证服务的高可用,但是这是…

台灯护眼是真的吗?家长挑选台灯看这篇!

中国当前正面临着日益严峻的近视防控挑战。随着各学段学生近视率的普遍偏高,以及高度近视占比的不断上升,这一问题已经对学生的身体健康构成了严重威胁,并对国家的未来发展和社会稳定构成了潜在风险。随着教育资源的日益丰富和普及&#xff0…

【C++】模板初级

【C】模板初级 泛型编程函数模板函数模板的概念函数模板格式函数模板的原理函数模板的实例化模板参数的匹配原则 类模板类模板格式类模板的实例化 泛型编程 当我们之前了解过函数重载后可以知道,一个程序可以出现同名函数,但参数类型不同。 //整型 voi…

知乎号开始运营了,宣传一波

知乎号开始发布一些小说、散文还有诗歌了,欢迎大家多来关注 知乎链接:姜亚轲 每篇小说都改编成网易云音乐,文章中也有链接,我做的词,Suno编曲和演唱,欢迎大家来听听

地表位移监测系统:原理、组成与功能

地表位移监测系统是一项用于实时监测地表下沉、沉降、地面位移和地下水位变化的关键工具。本文将介绍该系统的工作原理、系统组成、工作模式以及功能特点,以便更深入地了解如何有效利用该系统进行沉降监测。 一、工作原理 地表位移监测系统主要由位移监测站、数据采…

k8s学习--helm的详细解释及安装和常用命令

文章目录 Helm简介什么是Helm主要组件核心概念chart结构总结 应用环境一、helm部署二、helm基础使用 Helm简介 什么是Helm Helm 是 Kubernetes 的一个包管理工具,它允许用户定义、安装和升级复杂的 Kubernetes 应用程序。Helm 通过使用 “Charts” 的概念来简化应…

智能合约之路:Web3时代的商业革新之道

随着区块链技术的日益成熟和普及,智能合约作为其重要应用之一,正逐渐引领着我们进入一个全新的商业时代,即Web3时代。在这个时代,智能合约不仅改变着商业交易的方式,更为商业模式带来了颠覆性的革新。本文将深入探讨智…

如何让视频有高级感 高级感视频制作方法 高级感视频怎么剪 会声会影视频剪辑制作教程 会声会影中文免费下载

高质量视频通常具有清晰的画面、优质的音频和令人印象深刻的视觉效果。这篇文章来了解如何让视频有高级感,高级感视频制作方法。 一、如何让视频有高级感 要让视频有高级感,要注意以下几个要点: 1、剧本和故事性:一个好的剧本和…

FLAN-T5模型的文本摘要任务

Text Summarization with FLAN-T5 — ROCm Blogs (amd.com) 在这篇博客中,我们展示了如何使用HuggingFace在AMD GPU ROCm系统上对语言模型FLAN-T5进行微调,以执行文本摘要任务。 介绍 FLAN-T5是谷歌发布的一个开源大型语言模型,相较于之前的…

本地安装nightingale监控分析服务并发布公网详细流程

文章目录 前言1. Linux 部署Nightingale2. 本地访问测试3. Linux 安装cpolar4. 配置Nightingale公网访问地址5. 公网远程访问Nightingale管理界面6. 固定Nightingale公网地址 前言 本文主要介绍如何在本地Linux系统部署 Nightingale 夜莺监控并结合cpolar内网穿透工具实现远程…

ssm宠物网站系统-计算机毕业设计源码07183

摘 要 在信息飞速发展的今天,网络已成为人们重要的信息交流平台。宠物网站每天都有大量的信息需要通过网络发布,为此,本人开发了一个基于B/S(浏览器/服务器)模式的宠物网站系统。 该系统以JJava编程语言、MySQL和SSM框…

Python+Selenium自动化测试环境搭建步骤(selenium环境搭建)

一、自动化简介 1.自动化测试概念: 是把以人为驱动的测试转化为机器执行的一种过程,它是一种以程序测试程序的过程 2.自动化测试分类: 一般IT上所说的自动化测试是指功能自动化测试,通过编码的方式用一段程序来测试一个软件的功…

开源项目大合集(热门)

人不走空 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌赋:斯是陋室,惟吾德馨 目录 🌈个人主页:人不走空 💖系列专栏:算法专题 ⏰诗词歌…

PFA烧杯带把手带刻度1000ml3000mlPFA氟树脂温度范围-270~250℃

随着越来越多的痕量分析实验需要对ppb和ppt级的浓度进行测定。目前所使用的一般材料由于无特别处理,不可避免会与所储存的样品,试剂或标准液反应,导致痕量分析实验得到不正确的结果。但我厂的PFA产品刚好能弥补其不足。PFA金属元素空白值低&a…

网络安全等级保护制度详解,一文掌握核心要点!

一、等级保护制度发展情况 等级保护制度的法律依据 《计算机信息系统安全保护条例》(1994年General Office of the State Council第147号令) 公安部主管全国计算机信息系统安全保护工作。 计算机信息系统实行安全等级保护,安全等级的划分…

Linux crontabs定时执行任务

文章目录 前言一、安装二、服务1. 启动crond服务2. 关闭crond服务3. 重启crond服务4. 设置crond开机启动5. 禁用crond开机启动6. 查看crond是否开机启动7. 重新载入配置8. 查看crond运行状态 三、使用1. 查看当前用户的crontab2. 编辑用户的crontab3. 删除用户的crontab的内容 …

upload-labs第十二关教程

upload-labs第十二关教程 一、源代码分析代码审计 二、绕过分析截断绕过magic_quotes_gpc函数介绍关闭magic_quotes_gpc上传eval.png文件使用burpsuite进行抓包修改放包,查看是否上传成功使用中国蚁剑进行连接 一、源代码分析 代码审计 $is_upload false; $msg …

linux部署运维3——centos7.9离线安装部署配置涛思taos2.6时序数据库TDengine以及java项目链接问题处理(二)

上一篇讲了centos7.9如何安装涛思taos2.6时序数据库的操作步骤和方案,本篇主要讲解taos数据库的初始化,相关配置说明,数据库和表的创建问题以及java项目连接问题。 centos7.9如何离线安装taos2.6,请点击下方链接详细查看&#xf…

2024年6月-Docker配置镜像代理

步骤1:编辑 daemon.json 文件 vim /etc/docker/daemon.json步骤2:添加配置 将以下内容粘贴到文件中: {"insecure-registries": ["192.168.0.99:8800"],"data-root": "/mnt/docker","registr…

在亚马逊云上部署WordPress:一个完整的LAMP环境安装教程

什么是LAMP LAMP是一个流行的开源软件堆栈,用于网站和网络应用程序的开发和部署。LAMP是几个主要组件的首字母缩写,包括: Linux:操作系统层,LAMP通常部署在Linux操作系统上,但它也可以使用其他类似Unix的…