EMQX Enterprise 5.5 发布:新增 Elasticsearch 数据集成

EMQX Enterprise 5.5.0 版本已正式发布!

在这个版本中,我们引入了一系列新的功能和改进,包括对 Elasticsearch 的集成、Apache IoTDB 和 OpenTSDB 数据集成优化、授权缓存支持排除主题等功能。此外,新版本还进行了多项改进以及 BUG 修复,进一步提升了整体性能和稳定性。

新增 Elasticsearch 数据集成

Elasticsearch 是一个分布式的搜索和数据分析引擎,能够提供多样化数据的全文搜索、结构化搜索以及分析等功能。在这个版本中,EMQX 新增了对 Elasticsearch 的数据集成,支持数据的插入、更新和删除操作,这意味着设备数据可以被写入到 Elasticsearch,用户可以灵活地使用 Elasticsearch 的搜索和分析能力对数据进行处理。

设备数据写入到 Elasticsearch 后,用户可以灵活的使用 Elasticsearch 的搜索和分析能力对数据进行处理。典型的使用场景包括物联网设备的事件和日志监测、地理位置数据(Maps)的处理以及终端安全监测。例如,物联网设备会生成大量的日志数据,这些数据可以被发送到 Elasticsearch 中进行存储和分析。通过连接到可视化工具,例如 Kibana,可以根据这些日志数据生成图表,实时展示设备状态、操作记录以及错误消息等信息。

EMQX MQTT Platform 与 Elasticsearch 数据集成

Apache IoTDB 与 OpenTSDB 数据集成优化

Apache IoTDB 与 OpenTSDB 数据集成在这个版本中得到了优化,现在支持配置数据写入模板,通过指定每个字段的时间戳、字段名称、数据类型,实现灵活的数据写入,使得数据集成开发更加快速和灵活。

InfluxDB, IoTDB 与 TDengine 数据集成支持批量设置写入字段

在工业、车联网等应用中,时序类数据集成开发中,存在一条消息包含数百乃至更多数据点位的场景。要配置将它们从消息中提取,并一一对应存储到数据库中是一个重复且复杂的工作。

为了解决这个问题,EMQX 提供了批量设置功能,用户可以通过 CSV 文件编辑要写入的字段名称以及从 Payload 中的取值方式,将其通过 Dashboard 进行导入,实现对应数据集成的快速配置。目前支持的数据集成有 InfluxDB、Apache IoTDB, 以及 TDengine。

消息桥接 SysKeeper 穿透支持

在电力生产系统的网络安全要求下,生产控制区、生产非控制区和生产管理区之间的网络通讯需要通过单向网闸设备保障网络安全。

EMQX 在数据集成中新增了正向网闸 SysKeeper 2000 穿透功能,通过配置可以启用此功能,进行 EMQX 消息在不同生产区之间的桥接传输。这一功能确保符合规章制度的情况下,实现了两个生产区之间数据通信,为电力行业物联网应用落地提供了定制化的支持,助力电力系统的安全、高效运营。

消息桥接 SysKeeper 穿透支持

授权缓存支持排除主题

EMQX 提供了开箱即用的客户端授权功能,为应用安全提供了强有力的保障。其中还支持授权缓存,能够大大减少后端压力,实现系统高性能稳定运行。

在启用缓存的基础上,对于一些安全敏感的业务,用户希望将其排除不生成缓存,以实现实时的权限更新保障通信安全。在这个版本中,EMQX 支持为授权缓存添加多个排除主题,客户可以灵活的定制不同安全级别要求,实现整个系统高效稳定运行。

可观测性提升

EMQX 为用户提供了丰富的指标和指标监控服务集成。此前用于指标集成的 Prometheus 只能获取集群运行和客户端、MQTT 相关的基础指标,对于认证授权、规则引擎和数据集成的运行指标没法实现监控管理。

在这个版本中,我们进一步增强了可观测性,暴露了更多的指标,包括:

  1. 认证与授权:每个认证与授权器的状态和允许/拒绝情况
  2. 规则:能够获取每个规则的执行情况,例如触发、通过与未通过、失败次数,以及执行的速度
  3. 数据集成:每个外部集成的连接状态,Sink 与 Source 的执行情况
  4. SSL/TLS 证书有效期,用以实现证书的轮换监控
  5. License 过期时间

通过这些更详细的指标,用户能够实现业务层面的监控,能够详细了解当前主要组件运行状态,更便捷地监测和排除系统问题。

性能提升

  1. 提高了 Kafka 生产者数据集成的性能,改善了 Kafka 服务侧的资源占用。这对于大量使用 Kafka 作为数据流通道的应用来说有非常大的帮助,因为它可以提高系统的整体性能和效率。
  2. 集群节点通信支持批量更新多个订阅操作,进一步提高了 Core - Replicant 架构在跨地域集群、高网络延迟场景下的订阅速度。实测在 220ms 的网络延迟中,能够提升 20% 的订阅速度。该设计还减轻了集群连接代理池的负载,从而最大限度地减少系统过载的风险。
  3. 提高了路由清理时的网络通信效率,在新的实现中,当一个节点宕机时,其余的存活节点只需要交换一个“匹配并删除”操作,这大大减少了所需的网络数据包数量,从而降低了集群间的网络负载。对于在网络延迟较高的跨地域环境中部署的 EMQX 集群,这种优化将会非常有益。
  4. GreptimeDB 数据集成支持异步写入操作,以提供更好的性能。
  5. 支持并发创建和更新数据集成,提高了例如导入备份文件时的操作速度。

其他功能更新

  1. JWT 认证中,Token 携带的 ACL 权限列表采用新的数据格式,使用上更加灵活。
  2. 保留消息支持搜索以及一键清除,此前已经支持了保留消息的列表查看和管理,现在我们对管理的用户体验进行了增强,支持在 Dashboard 上通过主题或者主题搜索管理保留消息列表,并实现保留消息的一键清除。
  3. 延迟消息支持指定主题进行批量删除,此项更新提高了操作效率并减少管理的复杂性。
  4. 调整 REST API 分页大小上限,将分页 REST API 的请求分页大小限制由 3000 调整为 10000,以支持更大数据量的 API 调用。
  5. 数据集成 MQTT 桥接重构,现在一组 MQTT 连接能够用于在多个消息订阅、消息发布配置中。这一改进将使得数据集成配置和管理更加灵活和高效。

BUG 修复

以下是主要 BUG 修复列表:

  • #12243 修复了一系列可能导致全局路由状态不一致的细微竞争条件,确保全局路由状态的正确性和一致性,提高系统的稳定性。
  • #12269 改进了 /clients 接口的错误处理方式。现在,如果查询字符串验证失败,EMQX 将返回 400 状态和更详细的错误信息,而不是通用的 500。这样可以让用户更清楚地知道出错的原因,提高了错误处理的透明度。
  • #12303 修复了保留消息索引的问题。此前如果客户端有通配符订阅,可能会收到与其订阅主题不匹配的无关保留消息。
  • #12404 修复了消息流量较大的情况下,重启数据集成可能导致指标停止收集的问题。现在可以确保在任何情况下都能正确收集数据集成指标,提高了系统的可靠性。
  • #12301 修复了 InfluxDB 中的行协议数值字面量被存储为字符串类型的问题。现在数值字面量将被正确地存储为数值类型,提高了数据的准确性。

更多功能变更和 BUG 修复请查看 EMQX Enterprise 5.5.0 更新日志。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/264874.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

多模态表征—CLIP及中文版Chinese-CLIP:理论讲解、代码微调与论文阅读

我之前一直在使用CLIP/Chinese-CLIP,但并未进行过系统的疏导。这次正好可以详细解释一下。相比于CLIP模型,Chinese-CLIP更适合我们的应用和微调,因为原始的CLIP模型只支持英文,对于我们的中文应用来说不够友好。Chinese-CLIP很好地…

unity发布webGL压缩方式的gzip,使用nginx作为web服务器时的配置文件

unity发布webGL压缩方式的gzip,使用nginx作为web服务器时的配置文件 Unity版本是:2021.3 nginx的版本是:nginx-1.25.4 Unity发布webgl时的测试 设置压缩方式是gzip nginx配置文件 worker_processes 1;events {worker_connections 102…

Linux系统——Nginx小总结

目录 一、影响用户体验的因素 二、网络连接——Apache/Nginx服务请求过程 三、I/O模型——Input/Output模型 1.同步/异步 2.阻塞/非阻塞 3.同步异步/阻塞非阻塞组合 四、Nginx用法 一、影响用户体验的因素 客户端硬件配置客户端网络速率客户端与服务端距离服务端网络速…

SQLlabs46关

看看源码 最终我们的id是放到order by后面了 如果我们直接用列去排序 ?sortusername/password username: passward 可以看到顺序是不同的,当然第一列第二列第三列也可以,基本上都是这个原理,那怎么去实现注入呢,我…

Rider 2023:打造高效.NET项目的智能IDE,让开发更简单mac/win版

JetBrains Rider 2023激活版下载是一款专为.NET开发者打造的强大集成开发环境(IDE)。这款IDE提供了丰富的功能,旨在帮助开发者更快速、更高效地编写、调试和测试.NET应用程序。 Rider 2023 软件获取 Rider 2023在保持了其一贯的智能代码补全…

Git笔记——3

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一、合并模式和分支策略 二、bug分支 三、强制删除分支 四、创建远程仓库 五、克隆远程仓库_HTTPS和_SSH 克隆远程仓库_HTTPS 克隆远程仓库_SSH 六、向远程仓库…

1.1_1 计算机网络的概念、功能、组成和分类

文章目录 1.1_1 计算机网络的概念、功能、组成和分类(一)计算机网络的概念(二)计算机网络的功能(三)计算机网络的组成1.组成部分2.工作方式3.功能组成 (四)计算机网络的分类 总结 1.…

Qt QWidget 简约美观的加载动画 第五季 - 小方块风格

给大家分享两个小方块风格的加载动画 &#x1f60a; 第五季来啦 &#x1f60a; 效果如下: 一个三个文件,可以直接编译运行 //main.cpp #include "LoadingAnimWidget.h" #include <QApplication> #include <QGridLayout> int main(int argc, char *arg…

sql-labs第46关 order by盲注

sql-labs第46关 order by盲注 来到了第46关进入关卡发现让我们输入的参数为sort&#xff0c;我们输入?sort1尝试&#xff1a; 输入?sort2,3,发现表格按照顺序进行排列输出&#xff0c;明显是使用了order by相关的函数。 我们将参数变成1进行尝试&#xff0c;就会报错&…

Rust之构建命令行程序(四):用TDD(测试-驱动-开发)模式来开发库的功能

开发环境 Windows 11Rust 1.75.0 VS Code 1.86.2 项目工程 这次创建了新的工程minigrep. 用测试-驱动模式来开发库的功能 既然我们已经将逻辑提取到src/lib.rs中&#xff0c;并将参数收集和错误处理留在src/main.rs中&#xff0c;那么为代码的核心功能编写测试就容易多了。我…

抽象的后端

Connection refused: no further information 出现这条代码的核心是你使用redis&#xff0c;但是本地没有开启redis服务 如何启动redis服务 第一步&#xff1a;确定你安装了对应的框架 以spring为例 <dependency><groupId>org.springframework.boot</group…

初识Lombok

前言 最近读一些公司的业务代码&#xff0c;发现近几年的java项目工程中都使用了lombok&#xff0c;lombok是一个可以自动生成get,set、toString等模板类方法的工具框架&#xff0c;程序再引入lombok后&#xff0c;添加一个注解便可以不写get\set\toString等方法。 Lombok示例…

【DL】深度学习之语音识别

目录 1 核心概念 2 安装依赖库 3 实践 语音信号处理&#xff08;Speech Signal Processing&#xff09;简称语音处理。 语音识别&#xff08;ASR&#xff09;和自然语言处理&#xff08;NLP&#xff09;&#xff1a;语音识别就是将语音信号转化成文字文本&#xff0c;简单实…

UE5 C++ Widget练习 Button 和 ProgressBar创建血条

一. 1.C创建一个继承Widget类的子类&#xff0c; 命名为MyUserWidget 2.加上Button 和 UserWidget的头文件 #include "CoreMinimal.h" #include "Components/Button.h" #include "Blueprint/UserWidget.h" #include "MyUserWidget.genera…

微信群发一次能发1000个好友了!

微信为我们日常交流不可或缺的沟通工具 群发功能在日常生活中使用得也比较多 但有时候 比如在节假日&#xff0c;需要向所有客户发送祝福时 在搞活动时&#xff0c;想向所有客户发起邀约时 如果一个一个点击来发送信息 会非常麻烦 但是&#xff01;&#xff01; 我今天…

提升Vue3应用效率的秘诀:深入比较ref与reactive!

ref 和 reactive 是 Vue3 中实现响应式数据的核心 API。ref 用于包装基本数据类型&#xff0c;而 reactive 用于处理对象和数组。尽管 reactive 似乎更适合处理对象&#xff0c;但 Vue3 官方文档更推荐使用 ref。 我的想法&#xff0c;ref就是比reactive好用&#xff0c;官方也…

安防视频监控平台EasyNVR级联视频上云管理平台EasyNVS,出现报错“i/o deadline reached”该如何解决?

上云网关管理平台EasyNVS视频综合管理系统具备汇聚与管理EasyGBS、EasyNVR等平台的能力&#xff0c;系统可以将接入的视频资源实现视频能力统一输出&#xff0c;并能进行远程可视化运维等管理功能&#xff0c;还能解决设备现场没有固定公网IP却需要在公网直播的需求。 有用户反…

下载 axios.js 文件到本地【linux】

方式一 npm install axios在$NODE_PATH/node_modules/axios/dist路径下即可找到axios.js。 方式二 1、百度搜索 GitHub 官网&#xff1a;https://github.com/ 2、搜索 axios 3、点击 axios/axios 4、下载到本地 5、解压&#xff0c;进入到 dist 文件夹** 参考&#x…

2步破解官方sublime4

sublime简要破解流程 1.下载sublime官方最新版2. 破解流程 1.下载sublime官方最新版 打开 官方网站下载 portable version 版&#xff0c;省的安装。。解压到任意位置&#xff0c;备份 sublime_text.exe 文件 2. 破解流程 打开网址把文件 sublime_text.exe 拖入网页搜索替换…

如何使用Lychee+cpolar搭建本地私人图床并实现远程访问存储图片

文章目录 1.前言2. Lychee网站搭建2.1. Lychee下载和安装2.2 Lychee网页测试2.3 cpolar的安装和注册 3.本地网页发布3.1 Cpolar云端设置3.2 Cpolar本地设置 4.公网访问测试5.结语 1.前言 图床作为图片集中存放的服务网站&#xff0c;可以看做是云存储的一部分&#xff0c;既可…