从变更到通知:使用Python和MongoDB Change Streams实现即时事件监听

MongoDB提供了一种强大的功能,称为Change Streams,它允许应用程序监听数据库中的变更事件,并在数据发生变化时立即做出响应。这在mysql数据库是不具备没有这个功能的。又如:我们在支付环节想一直监听支付回调的状态,就必须定时循环。但是用到Change Streams监听功能,就不要低效率的定时循环做法。
在本文中,我们将探讨如何在Python中使用MongoDB的Change Streams来消费变更事件。
在这里插入图片描述

什么是MongoDB Change Streams?
MongoDB Change Streams是一种实时监听数据库集合变更的能力。它们可以用来监听以下类型的事件:

插入(insert)
更新(update)
删除(delete)
更多…
Change Streams可以在应用层提供数据变更的实时通知,这对于需要即时更新用户界面、触发业务流程或同步数据到其他服务的应用程序非常有用。

为什么使用Change Streams?
使用Change Streams而不是轮询机制有以下几个优势:

性能:轮询会不断查询数据库,这可能会导致不必要的负载。Change Streams仅在数据变更时提供通知,从而减少不必要的数据库交互。
实时性:Change Streams提供近乎实时的数据变更通知,这对于需要快速响应的应用程序至关重要。
可靠性:Change Streams保证不会错过任何变更事件,即使在应用程序重启之后也能从最后的位置继续监听。
如何在Python中使用Change Streams?
要在Python中使用Change Streams,您需要使用pymongo库,这是MongoDB的官方Python驱动程序。以下是如何设置和使用Change Streams的基本步骤:

要配置MongoDB的Change Streams以监控特定类型的变更,你可以使用MongoDB的聚合管道(Aggregation Pipeline)功能。通过提供一个或多个管道阶段的数组,你可以控制Change Streams的输出。

##初始化副本集
连接到任何一个MongoDB实例(通常是配置文件中指定的第一个实例),使用MongoDB Shell来初始化副本集:

mongosh   #mongo的命令行
use admin
rs.initiate({_id: "myReplicaSet",   #副本集名称members: [{ _id: 0, host: "host1:27017" },  #host1要换成对应的公网ip才能访问,除非其它情况{ _id: 1, host: "host2:27017" },{ _id: 2, host: "host3:27017" }]
})

在这里,host1:27017、host2:27017和host3:27017应该替换为您的MongoDB实例的实际IP地址和端口。_id是一个从0开始的唯一标识符,用于区分不同的成员。

在宝塔内如何处理
安装好mongdoDB
在这里插入图片描述
本地检查:
在这里插入图片描述
加入配置:
目录:
root@iZ2ze50t4ys98i5408heezZ:/www/server/mongodb/bin#

生成配置内

  • keyFile:
    (base) root@VM-4-7-ubuntu:/www/server/mongodb#
    openssl rand -base64 756 > /www/server/mongodb/keyfile
    chmod 400 /www/server/mongodb/keyfile
  • replication:
    replSetName: rs0 # rs0跟命令行创建的id名要一致

在下图加入配置
在这里插入图片描述

在mongdb命令行创建副本

在这里插入图片描述
MongoDB Shell支持命令历史记录功能,您可以使用上下箭头键来检索在Shell中发出的先前命令。

mondosh
rs0 [direct: primary] test> use admin
switched to db admin
rs0 [direct: primary] admin> db.auth("root","ubVvGqDmL7UAdwkG")
{ ok: 1 }
rs0 [direct: primary] admin>
##配置复制xx
var currentConfig = rs.conf();
var newConfig = { _id: "rs0", version: currentConfig.version + 1, members: [ { _id: 0, host: "8.152.219.111:27017" }] };
rs0 [direct: primary] admin> rs.reconfig(newConfig);
{
ok: 1,
'$clusterTime': {
clusterTime: Timestamp({ t: 1733560367, i: 1 }),
signature: {
hash: Binary.createFromBase64('DhedFtGMLmVNqwW7/0tGP91vKoA=', 0),
keyId: Long('7445547217475076102')
}
},
operationTime: Timestamp({ t: 1733560367, i: 1 })
}
rs0 [direct: primary] admin> rs.status() #的输出

在这里插入图片描述

然后重启,先kill -9 端口号,启动mongod命令

##使用客户端2种方式测试连接是否成功
在这里插入图片描述
在这里插入图片描述

以上如果测试通过,表示成功了。

使用代码测试:

monitor_mongo_changes.py

from pymongo import MongoClient
from pymongo.change_stream import ChangeStreamdef monitor_mongo_changes(collection_name, database_name):"""监控MongoDB文档变更的函数。:param collection_name: 要监控的MongoDB集合名称:param database_name: 要监控的MongoDB数据库名称"""# 连接到MongoDBurl = "mongodb://root:ub***G@8.7.0.1:27017/esg?authSource=admin&replicaSet=rs0"client = MongoClient(url,serverSelectionTimeoutMS=10000)  # 设置超时时间为10秒# 选择数据库和集合db = client[database_name]collection = db[collection_name]# 创建一个管道,用于匹配特定条件的变更# pipeline = [{'$match': {'operationType': 'update'}}]pipeline = [{'$match': {'operationType': {'$in': ['insert', 'update','delete']}}}]# 创建Change Stream并传入管道change_stream = collection.watch(pipeline)# 监听Change Streamfor change in change_stream:print("Change detected:", change)print("end ....")# 使用函数
monitor_mongo_changes('gress', 'esg')

运行python monitor_mongo_changes.py ,它不会自动退出,一直会监听mongdb数据库esg数据集的修改、插入、删除动作的。

在这里插入图片描述

用到的命令集

启动命令:mongod -f /www/server/mongodb/config.conf
查看启动状态:/etc/init.d/mongodb status
查看进程:ps -ef | grep mongo
mongosh    #进入mongdo的cli环境

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/486519.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【AWR软件】AWR 如何创建测量图

文章目录 前言流程 前言 微博虚拟 实验 流程 project -> graph -> 右键 new graph

ARMv8-A MacOS调试环境搭建

文章目录 简介安装qemu交叉编译工具链C语言插件 gdb调试测试代码添加调试配置 JLink 调试树莓派 简介 本节主要介绍基于Visual Studio Code在MacOS下调试环境的搭建,Linux发行版上的过程也类型,它主要使用到以下工具链: aarch64 架构的交叉…

qt基本部分控件用法(一)

前言: 以前 windows下做工具主要是MFC,趁有点空时间,研究了QT,感觉跟MFC 差不多,VS 比 QT CREATOR 还是强大,不过QT可以跨平台,功能更强大,MFC 只能在win平台下.; 1:环境…

【hacker送书第19期】自动化测试框架设计

文章目录 前言内容简介获取方式总结 前言 在当今这个高速发展的互联网时代,软件测试已成为保障软件质量的重要环节。而自动化测试更是测试领域中不可或缺的一环。这本书的出版,正是为了帮助我们更好地理解和应用自动化测试框架设计,提升软件…

【Git】:标签管理

目录 理解标签 创建标签 操作标签 理解标签 标签的作用 标记版本:标签 tag ,可以简单的理解为是对某次 commit 的⼀个标识,相当于起了⼀个别名。例如,在项目发布某个版本的时候,针对最后⼀次 commit 起⼀个 v1.0 这样…

[Maven]下载安装、使用与简介

很多框架的下载使用的流程和思路是差不多的,这里以maven做详细介绍。 下载安装与配置变量 下载 首先,我们要使用maven,必须先下载它的相关文件。想要下载,我们可以直接搜索maven。找到它的官网。这里不绕弯子,直接给出…

光猫开DMZ教程

本教程以移动光猫未例,具体操作以实际光猫为准 1、登录移动光猫管理后台 打开浏览器,在浏览器地址栏输入移动光猫登录管理地址192.168.1.1或者tplogin.cn 按“回车键”打开登录页面,然后输入路由器管理密码登录。 移动光猫登录页面 超级密…

高阶数据结构--B树B+树实现原理B树模拟实现--Java

目录 一、B-树概念 二、B-树插入分析 1.用序列{53, 139, 75, 49, 145, 36, 101}构建B树的过程如下: 2.插入过程总结 三、B树插入实现 四、B树 1.B树概念 2.B树的特性 五、B树应用 1.索引 2.Mysql索引 3.InnoDB 一、B-树概念 1970 年, R.Bayer 和…

tsx: tsx以及在表格的使用?

问&#xff1a; tsx文件render:(scope)>{ return ( <div onclick{handleCLick(scope.$index1)}> ) } const handleCllick (i)>{ alert(i) }为什么进入界面就执行了handleClick函数&#xff1f;我希望点击在执行 回答&#xff1a; 问&#xff1a; 我只希望给这一…

MySQL报错:Illegal mix of collations

背景 最近项目上MySQL库运行过程中遇到SQL执行报错&#xff1a;java.sql.SQLException: Illegal mix of collations (utf8mb4_general_ci,IMPLICIT) and (utf8mb4_0900_ai_ci,IMPLICIT) for operation ‘’ 分析 询问DBA后&#xff0c;被告知是关联查询的表排序规则不一致导致…

FaRM译文

No compromises: distributed transactions with consistency, availability, and performance Aleksandar Dragojevic, Dushyanth Narayanan, Edmund B. Nightingale, Matthew Renzelmann, Alex Shamis, Anirudh Badam, Miguel Castro Microsoft Research 目录 摘要 1. 引…

spark sql 环境安装,java 默认路径和 安装配置!

yum安装java 查看默认路径 update-alternatives --config java # Java 环境变量 export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64/jreexport PATH$JAVA_HOME/bin:$PATH# Spark 环境变量 export SPARK_HOME/home/vagrant/soft/sparkexport PATH…

Keepalived配置文件中未指定MASTER节点会出现什么现象?

Keepalived配置文件中未指定MASTER节点会出现什么现象&#xff1f; 在 Keepalived 配置文件中&#xff0c;如果没有明确指定 MASTER 节点的配置&#xff0c;可能会导致 VRRP&#xff08;Virtual Router Redundancy Protocol&#xff09; 协议无法正常工作&#xff0c;具体表现如…

注塑机数据采集的3种方案优缺点对比海天注塑机采集震雄科霸科强数据采集注塑机数据采集网关注塑机联网

注塑机数据采集是工业自动化和智能制造中的一个重要环节&#xff0c;它可以帮助企业监控生产过程、优化生产效率、减少故障停机时间&#xff0c;并提高产品质量。你提到的三种采集模式各有特点和应用场景&#xff1a; IO采集&#xff1a; 这种模式主要通过采集注塑机的输入/输出…

TPAMI 2023:When Object Detection Meets Knowledge Distillation: A Survey

摘要 目标检测&#xff08;Object Detection&#xff0c;OD&#xff09;是计算机视觉中的一项关键任务&#xff0c;多年来涌现出了众多算法和模型。尽管当前 OD 模型的性能有所提升&#xff0c;但它们也变得更加复杂&#xff0c;由于参数规模庞大&#xff0c;在工业应用中并不…

QT数据库SQLite:QsqlTableModel使用总结

数据库连接、数据模型与界面组件所涉及的类之间的关系如下所示&#xff1a; 数据库类 QSqlDatabase 类用于建立与数据库的连接&#xff0c;QSqlDatabase 对象就表示这种连接。QSqlDatabase 类的功能主要分为三大部分&#xff1a; 1、创建数据库连接&#xff0c;即创建 QSqlDat…

川崎机器人维修|校原点方法详解

川崎机器人校原点方法的详细步骤及其原理阐述如下&#xff1a; 需要手动将机器人的六个轴精确地移动到0刻度位置。这一步骤至关重要&#xff0c;因为它涉及到机器人后续运动的基准设定。具体操作时&#xff0c;我们需在关节坐标系的指引下&#xff0c;按照6-5-4-1-2-3的顺序&a…

19. Three.js案例-创建一个带有纹理映射的旋转平面

19. Three.js案例-创建一个带有纹理映射的旋转平面 实现效果 知识点 WebGLRenderer (WebGL渲染器) WebGLRenderer 是 Three.js 中用于渲染场景的主要类。它利用 WebGL 技术在浏览器中绘制 3D 图形。 构造器 new THREE.WebGLRenderer(parameters)参数类型描述parametersobj…

【C语言】完成程序设计填空

文章目录 1、请阅读下面的程序,在空白处填写正确的代码,要求各在一行从头开始输出m和n的值。2、求100~599之间的所有水仙花数,即各位数字的立方和恰好等于该数本身的数。3、以下程序的功能是:将值为三位正整数的变量x中的数值按照个位、十位、百位的顺序 拆分并输出。请填空…

每天五分钟深度学习:神经网络的前向传播的计算(多样本)

本文重点 前面我们学习了单样本的前向传播,本文我们学习多样本的前向传播,我们先来回忆一下,神经网络的单样本的前向传播的向量化的方式: m个样本依次进行前向传播 这里我们说明一下符号: 我们使用(m)表示第m个样本,用[m]表示神经网络的第m层 a[2](i) 表示第i个样本计…