AutoMQ 生态集成 Redpanda Console

通过 Kafka Web UI 更加便利地管理 Kafka/AutoMQ 集群

随着大数据技术的飞速发展，Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，Kafka 集群的管理和监控却并非易事。传统的命令行工具和脚本虽然功能强大，但对于开发者和运维人员来说，操作复杂且不直观。为了解决这些问题，Kafka Web UI 应运而生，为用户提供了一种更加便利和高效的 Kafka 集群管理方式。Apache Kafka 经过十多年的发展，在业内积累了非常丰富的生态。AutoMQ 作为 Apache Kafka 的继任者，由于其对 Kafka 的完全兼容，可以充分利用其生态中的产品。AutoMQ 企业版已经提供了非常强大的控制面能力。如果你使用的是 AutoMQ 也可以使用像 Kafdrop 、Redpanda Console [1] 等这样的产品来管理 AutoMQ 集群。今天分享的内容是如何通过 Redpanda Console [1] 对 AutoMQ 集群状态进行监控，以提高系统的可维护性和稳定性。

集成 AutoMQ 与 Redpanda Console

Redpanda Console 是由 Redpanda [2] 提供的 Kafka Web UI 界面，用于监控和管理 Redpanda 或 Kafka 集群。它提供了一个直观的用户界面，通过这个界面，用户可以轻松地查看集群状态、监控性能指标、以及管理主题和分区等。这个控制台旨在简化数据流系统的日常操作，让用户能够更有效地维护和监控他们的集群。得益于 AutoMQ 对 Kafka 的完全兼容，因此可以无缝与 Redpanda Console 进行集成。通过利用 Redpanda Console ，AutoMQ 用户也可以享受到直观的用户界面，实时监控 AutoMQ 集群状态，包括主题、分区、消费者组及其偏移量等关键元数据。这种监控能力不仅提高了问题诊断的效率，还有助于优化集群性能和资源利用率。这篇教程会教你如何启动 Redpanda Console 服务，并将其与 AutoMQ 集群搭配起来使用，实现集群状态的监控和管理。

Redpanda Console 官方示例

01

前置条件

  • 部署 AutoMQ 集群

  • 准备 Redpanda Console 环境 

部署 AutoMQ 集群

请参考 AutoMQ 官方文档：集群方式部署 | AutoMQ [3]。

部署 Redpanda Console

部署 Redpanda Console 有两种方式，包括 Docker 部署以及发行版部署，其中 Docker 部署较为简单，如果你想简单快速的体验 AutoMQ 与 Redpanda Console 的集成，建议选择 Docker 方式进行部署。如果你有特别的需要，如登录验证、SASL 认证、TLS 配置以及日志级别等设置，可以根据发行版方式自行部署。下面我将分别介绍两种配置方法。

Docker 部署

Redpanda Console 可通过 Docker 部署，参考 Quick Start [4]。上述过程中，搭建 AutoMQ 集群之后，我们已经知道了所有的 Broker 节点监听的地址和端口，因此我们可以通过指定 Docker 启动命令中的 KAFKA_BROKERS 参数，将 Redpanda Console 与 AutoMQ 集群建立起关联关系。Docker 启动容器命令如下：

docker run -p 8080:8080 -e KAFKA_BROKERS=192.168.0.4:9092,192.168.0.5:9092,192.168.0.6:9092 docker.redpanda.com/redpandadata/console:latest

  • -p 8080:8080：指定 Redpanda Console 的服务访问映射端口。

  • KAFKA_BROKERS：需要指定为你自己的 AutoMQ 集群的 Broker 地址。

发行版部署

你需要在 Redpanda Console 的 Github Releases 页：Release Redpanda Console [5]，选择适合的版本进行下载并解压到指定文件夹，如 /opt。操作命令如下：

# ubuntu Linux
cd /opt
sudo curl -L -o redpanda_console.tar.gz https://github.com/redpanda-data/console/releases/download/v2.6.0/redpanda_console_2.6.0_linux_amd64.tar.gz
# unzip, get redpanda_console
sudo tar -xzf redpanda_console.tar.gz
# config set
sudo mkdir -p /etc/redpanda
# write config
sudo vim /etc/redpanda/redpanda-console-config.yaml

redpanda-console-config.yaml配置文件的内容示例如下：

kafka:#Brokers is a list of bootstrap servers with#port (for example "localhost:9092").brokers:- broker-0.mycompany.com:19092- broker-1.mycompany.com:19092- broker-2.mycompany.com:19092

注意：请确保您当前安装 Redpanda Console 所在的服务器能够访问到配置文件中 Broker 节点所在的服务器。

关于更多详细的设置，可以参考官方文档：Redpanda Console Configuration [6]。配置完成后，需要设置环境变量，使得 Redpanda Console 执行文件能获取配置文件信息，并启动 Redpanda Console：

# set env
export CONFIG_FILEPATH="/etc/redpanda/redpanda-console-config.yaml"
# /opt/ run console
./redpanda-console

你将会得到如下结果：

./redpanda-console
{"level":"info","ts":"2024-07-10T09:52:52.958+0800","msg":"started Redpanda Console","version":"2.6.0","built_at":"1717083695"}
{"level":"info","ts":"2024-07-10T09:52:52.963+0800","msg":"connecting to Kafka seed brokers, trying to fetch cluster metadata"}
{"level":"info","ts":"2024-07-10T09:52:54.780+0800","msg":"successfully connected to kafka cluster","advertised_broker_count":1,"topic_count":2,"controller_id":0,"kafka_version":"at least v3.6"}
{"level":"info","ts":"2024-07-10T09:53:05.620+0800","msg":"Server listening on address","address":"[::]:8080","port":8080}

02

访问控制台页面

在完成上述的部署操作后，即可通过在浏览器中输入地址（例如：http://{console_ip}:8080）访问控制台服务。展示效果如下所示：

集群总览

集群总览页面为用户提供了一个宏观的视角，展示了 AutoMQ 集群的核心信息。包括但不限于：

  • 集群运行状态：显示当前集群的健康状况，帮助用户快速识别问题。

  • 存储占用：展示了集群中的数据存储使用情况，便于用户进行存储管理和规划。

  • 版本信息：显示当前 AutoMQ 集群运行的版本，方便跟踪和升级。

  • 在线 Broker 数量：实时显示在线的 Broker 数量，关键指标之一。

  • Topics 和 Replicas 数量：提供 Topics 和 Replicas 的数量信息，帮助用户了解集群的规模和数据复制情况。

监控集群状态对于确保消息队列系统的稳定性和性能至关重要。通过实时监控集群的运行状态、存储占用、版本信息、在线 Broker 数量以及 Topics 和 Replicas 的数量，运维人员可以快速识别并解决潜在问题，防止系统故障影响业务运行。同时，这些指标有助于进行容量规划和资源管理，确保系统能够应对未来的数据增长。此外，了解集群的版本信息还可以帮助用户及时进行软件升级，利用最新的功能和安全修复，整体提升系统的可靠性和效率。

Topic 总览

在 Topic 列表页面，用户可以看到当前 AutoMQ 集群中所有 Topic 的列表，包括每个 Topic 的关键信息，如分区数、副本策略等。用户可以通过这个页面快速浏览和管理 Topic。

Topic 详情

点击特定的 Topic 后，用户将进入到该 Topic 的详细页面，在这里可以深入了解和操作：

  • 消息列表：浏览和搜索 Topic 中的消息，对于消息的追踪和调试非常有用。

  • 消费者信息：显示当前订阅该 Topic 的消费者和消费者组信息，便于监控消费情况。

  • 分区状态：展示每个分区的详细信息，包括 Leader、ISR 等关键指标。

  • 配置信息：列出 Topic 的配置信息，支持修改以优化性能或行为。

  • ACL（访问控制列表）：管理对 Topic 的访问权限，确保数据安全。

此外，Redpanda Console 还支持用户手动创建和发布消息，这对于测试或特定场景下的消息注入非常有价值。

监控 Topic 详情信息可以让我们深入了解消息队列的运行状况，通过浏览消息列表进行追踪和调试，查看消费者信息监控消费情况，了解分区状态确保数据分布和高可用性，管理配置信息优化性能，以及设置访问控制保障数据安全。这些功能有助于及时识别和解决问题，提高系统的整体效率和可靠性。

03

总结

本文介绍了 Redpanda Console 与 AutoMQ 集成的过程，展示了如何通过这一强大工具简化和增强 AutoMQ 集群的管理。希望这篇文章能够为追求提高消息队列管理效率和功能的用户提供实用的参考。

引用

[1] Redpanda Console: https://redpanda.com/redpanda-console-kafka-ui
[2] Redpanda: https://redpanda.com/
[3] 集群方式部署 AutoMQ: https://docs.automq.com/zh/docs/automq-opensource/IyXrw3lHriVPdQkQLDvcPGQdnNh [4] Quick Start: https://github.com/redpanda-data/console?tab=readme-ov-file#quick-start [5] Release Redpanda Console: https://github.com/redpanda-data/console/releases/tag/v2.6.0 [6] Redpanda Console Configuration: https://docs.redpanda.com/current/reference/console/config/#example-redpanda-console-configuration-file
[7] Kafdrop Github:  https://github.com/obsidiandynamics/kafdrop

END

关于我们

我们是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队，曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念，重新设计并实现了 Apache Kafka 和 Apache RocketMQ，带来高达 10 倍的成本优势和百倍的弹性效率提升。

🌟 GitHub 地址：https://github.com/AutoMQ/automq
💻 官网：https://www.automq.com?utm_source=openwrite

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/379939.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【分布式事务】怎么解决分布式场景下数据一致性问题

【分布式事务】怎么解决分布式场景下数据一致性问题

分布式事务的由来 拿充值订单举个栗子吧，假设：原本订单模块和账户模块是放在一起的，现在需要做服务拆分，拆分成订单服务，账户余额服务。原本收到充值回调后，可以将修改订单状态和扣减余额放在一个mysql事务…
阅读更多...
未来互联网的新篇章：深度解析Web3技术

未来互联网的新篇章：深度解析Web3技术

随着技术的飞速发展，Web3作为新一代互联网技术范式，正在重新定义我们对互联网的认知和使用方式。本文将深入探讨Web3技术的核心概念、关键特征以及其在未来互联网发展中的潜力和影响，为读者打开Web3时代的大门。 Web3技术的核心概念和特征 1…
阅读更多...
国内微短剧系统平台抖音微信付费小程序app开发源代码交付

国内微短剧系统平台抖音微信付费小程序app开发源代码交付

微短剧作为当下热门的内容，结合抖音平台的广泛用户基础，开发微短剧付费小程序APP具有显著的市场潜力，用户对于短剧内容的需求旺盛，特别是在言情、总裁、赘婿等热门题材方面，接下来给大家普及一下微短剧小程序系统。 顺…
阅读更多...
8、添加第三方包

8、添加第三方包

目录 1、安装Django Debug Toolbar Django的一个优势就是有丰富的第三方包生态系统。这些由社区开发的包，可以用来快速扩展应用程序的功能集 1、安装Django Debug Toolbar Django Debug Toolbar位于名列前三的第三方包之一 这是一个用于调试Debug Web应用程序的有…
阅读更多...
mybatis的xml中，where标签不自动删除多余的and之类的问题

mybatis的xml中，where标签不自动删除多余的and之类的问题

遇到了这个莫名其妙的问题，起初是很疑惑的，where标签好像失灵了一般不会自动删除掉 多余的and 看了眼sql语句，发现还是有and没被删除。 后来重新写了遍后发现又没事了。真的是神人。 然后就研究了好一会，发现！&#…
阅读更多...
Hive理论讲解

Hive理论讲解

Hive介绍 1、Hive本质 Hive本质是【数仓设计方案】，hive本身并不存储数据【数据包含：元数据 (表)数据】。 2、hql和sql对比 sql 结构化查询语言【structured query language】hql hive/hadoop类sql查询语言【hive/hadoop query language like sql…
阅读更多...
零基础入门：创建一个简单的Python爬虫管理系统

零基础入门：创建一个简单的Python爬虫管理系统

摘要： 本文将手把手教你，从零开始构建一个简易的Python爬虫管理系统，无需编程基础，轻松掌握数据抓取技巧。通过实战演练，你将学会设置项目、编写基本爬虫代码、管理爬取任务与数据，为个人研究或企业需求奠…
阅读更多...
Langchain-Chatchat3.1版本docker部署流程——知识库问答

Langchain-Chatchat3.1版本docker部署流程——知识库问答

Langchain——chatchat3.1版本docker部署流程Langchain-Chatchat 1. 项目地址 #项目地址 https://github.com/chatchat-space/Langchain-Chatchat #dockerhub地址 https://hub.docker.com/r/chatimage/chatchat/tags2. docker部署 参考官方文档 #官方文档 https://github.c…
阅读更多...
百日筑基第二十四天-23种设计模式-结构型总汇

百日筑基第二十四天-23种设计模式-结构型总汇

百日筑基第二十四天-23种设计模式-结构型总汇 前言 设计模式可以说是对于七大设计原则的实现。 总体来说设计模式分为三大类： 创建型模式，共五种：单例模式、简单工厂模式、抽象工厂模式、建造者模式、原型模式。结构型模式，共…
阅读更多...
像 MvvmLight 一样使用 CommunityToolkit.Mvvm 工具包

像 MvvmLight 一样使用 CommunityToolkit.Mvvm 工具包

文章目录 简介一、安装工具包二、实现步骤1.按照MvvmLight 的结构创建对应文件夹和文件2.编辑 ViewModelLocator3.引用全局资源二、使用详情1.属性2.命令3. 消息通知4. 完整程序代码展示运行结果简介 CommunityToolkit.Mvvm 包（又名 MVVM 工具包，以前称为 Microsoft.Toolkit…
阅读更多...
pycharm2024破解

pycharm2024破解

pycharm下载： Download PyCharm: The Python IDE for data science and web development by JetBrainshttps://www.jetbrains.com/pycharm/download/?sectionwindowspython3.12.4下载： https://www.python.org/ftp/python/3.12.4/python-3.12.4-amd64…
阅读更多...
AWS Certified Developer Associate备考笔记

AWS Certified Developer Associate备考笔记

AWS Certified Developer Associate备考笔记 缓慢更新中，如果你也正在关注该考试，请点赞后评论感兴趣的章节，可加快我的更新速度 😃 文章目录 AWS Certified Developer Associate备考笔记一、IAM二、EC2三、EC2 Instance Storage…
阅读更多...
速看！德罐和国产罐一较高下！交响乐金罐、希喂、迈格仕全方位测评

速看！德罐和国产罐一较高下！交响乐金罐、希喂、迈格仕全方位测评

过去几年，德国进口罐头凭借其卓越的加工技术与严谨的品控标准，赢得了众多宠物主人的青睐与好评。然而，随着国内宠物食品行业的飞速发展，本土品牌深入研究本地化配方、不断提升产品质量，正逐步在国内市场占据一席之地&a…
阅读更多...
Docker：基础概念、架构与网络模式详解

Docker：基础概念、架构与网络模式详解

1.Docker的基本概念 1.1.什么是docker Docker是一个用于开发,交付和运行应用程序的开放平台.docker使您能够将应用程序域基础框架分开,以便你可以快速开发交付软件.使用docker,你可以管理你的基础架构以管理应用程序相同的方式.通过利用docker用于交付,测试和部署代码的方法,你…
阅读更多...
SAP BP 不存在内部标准分组

SAP BP 不存在内部标准分组

解决方案：不存在内部标准分组： - EasySAP SPRO-> IMG->跨应用程序组件-> SAP业务伙伴->业务伙伴->基本设置->数字范围和分组->定义分组并分配数字范围
阅读更多...
【深度学习驱动智能超材料设计与应用】

【深度学习驱动智能超材料设计与应用】

在深度学习与超材料融合的背景下，不仅提高了设计的效率和质量，还为实现定制化和精准化的治疗提供了可能，展现了在材料科学领域的巨大潜力。深度学习可以帮助实现超材料结构参数的优化、电磁响应的预测、拓扑结构的自动设计、相位的预测及结构…
阅读更多...
数据结构-java中链表的存储原理及使用方式

数据结构-java中链表的存储原理及使用方式

目录 链表（线性表的链式存储） 代码实例：（链表构建，头插尾插） LinkedList LinkedList的使用： 1、构造方法 2、操作方法 LinkedList 和 ArrayList 的区别 链表（线性表的链式存储…
阅读更多...
MFC程序创建word，创建表格，写入数据

MFC程序创建word，创建表格，写入数据

文章目录 1、MFC程序功能：2、MFC程序实现2.1 创建项目2.2 添加word操作类2.3 添加word资源2.4 编写代码，实现将数据写入到word2.5 运行程序、验证功能3、工程代码下载 1、MFC程序功能： 创建word文档；向文档中写入字符串&#xff…
阅读更多...
FastAPI 学习之路（五十二）WebSockets(八)接受/发送json格式消息

FastAPI 学习之路（五十二）WebSockets(八)接受/发送json格式消息

前面我们发送的大多数都是text类型的消息，对于text消息来说，后端处理出来要麻烦的多，那么我们可以不可以传递json格式的数据，对于前后端来说都比较友好，答案是肯定的，我们需要做下处理。 首先，…
阅读更多...
1.8.Kaggle房价预测

1.8.Kaggle房价预测

House Prices - Advanced Regression Techniques | Kaggle 在这里下载数据，然后使用pandas读。 课本：4.10. 实战Kaggle比赛：预测房价 — 动手学深度学习 2.0.0 documentation (d2l.ai) 一层线性层 def get_net():net nn.Sequential(nn.Li…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023