Memcached非关系型数据库介绍

使用背景

Memcached 不是一个数据库,而是一个高性能的分布式内存对象缓存系统。它主要用于减轻数据库负载,提高动态Web应用的速度、可扩展性和性能。Memcached 的工作原理是将数据存储在内存中,以提供快速的数据访问。当应用程序需要访问数据时,它首先检查内存中是否有这个数据。如果内存中有这个数据,应用程序就可以直接从内存中获取数据,而不需要访问数据库。这样可以大大提高数据访问的速度。

目录

一、Memcached 介绍

1. NoSQL介绍

2. Memcached

3. Memcached 和 Redis 比较

4. Memcached 工作机制

二、 Memcached 部署

1. Yum 安装

2. 编译安装

3. Memcached 启动程序说明

三、 Memcached 使用

1. Memcached 开发库和工具

2. Memcached 操作命令

四、Memcached 集群部署架构

1. 部署repcached

2. 数据同步

3. 实现代理


一、Memcached 介绍

1. NoSQL介绍

NoSQL是对 Not Only SQL、非传统关系型数据库的统称。NoSQL一词诞生于1998年,2009年这个词汇被再次提出指非关系型、分布式、不提供ACID的数据库设计模式。随着互联网时代的到来,数据爆发式增长,数据库技术发展日新月异,要适应新的业务需求。而随着移动互联网、物联网的到来,大数据的技术中NoSQL也同样重要。

NoSQL 分类:

① Key-value Store k/v数据库

  • 性能好 O(1) , 如: redis、memcached

② Document Store 文档数据库

  • mongodb、CouchDB

③ Column Store 列存数据库,Column-Oriented DB

  • HBase、Cassandra,大数据领域应用广泛

④ Graph DB 图数据库

  • Neo4j

⑤ Time Series 时序数据库

  • InfluxDB、Prometheus

2. Memcached

Memcached 只支持能序列化的数据类型,不支持持久化,基于Key-Value的内存缓存系统。memcached 虽然没有像redis所具备的数据持久化功能,比如RDB和AOF都没有,但是可以通过做集群同步的方式,让各memcached服务器的数据进行同步,从而实现数据的一致性,即保证各memcached的数据是一样的,即使有任何一台 memcached 发生故障,只要集群中有一台 memcached 可用就不会出现数据丢失,当其他memcached 重新加入到集群的时候,可以自动从有数据的memcached 当中自动获取数据并提供服务。

Memcached存储数据时,Memcached会去申请1MB的内存,把该块内存称为一个slab,也称为一个page

Memcached 支持多种开发语言,包括:JAVA,C,Python,PHP,C#,Ruby,Perl等

Memcached 官网:memcached - a distributed memory object caching system

3. Memcached 和 Redis 比较

相似之处:

① 内存存储:Memcached 和 Redis 都是将数据存储在内存中,以提供快速的数据访问。

② 键值存储:Memcached 和 Redis 都是使用键值对的方式来存储数据。

③ 分布式:Memcached 和 Redis 都支持分布式存储,可以在多台服务器上运行。

不同之处:

比较类别Redismemcached
数据类型支持更多的数据类型,包括字符串、列表、集合、有序集合、哈希表等只支持字符串
持久化支持支持数据持久化,可以将数据保存到磁盘上 不支持数据持久化,如果服务器重启,所有的数据都会丢失
高可用支持redis支持集群功能,可以实现主动复制,读写分离官方也提供了sentinel集群管理工具,能够实现主从服务监控,故障自动转移,这一切,对于客户端都是透明的,无需程序改动,也无需人工介入需要二次开发
存储value容量最大512M最大1M
内存分配临时申请空间,可能导致碎片预分配内存池的方式管理内存,能够省去内存分配时间
虚拟内存使用有自己的VM机制,理论上能够存储比物理内存更多的数据,当数据超量时,会引发swap,把冷数据刷到磁盘上所有的数据存储在物理内存里
网络类型非阻塞IO复用模型,提供一些非KV存储之外的排序聚合功能,在执行这些功能时,复杂的CPU计算,会阻塞整个IO调度非阻塞IO复用模型
水平扩展支持redis cluster 可以横向扩展暂无
多线程Redis6.0之前是只支持单线程Memcached支持多线程,CPU利用方面Memcache优于redis
单机QPS(每秒查询率)约10W约60W
源代码可读性代码清爽简洁可能是考虑了太多的扩展性,多系统的兼容性,代码不清爽
适用场景复杂数据结构、有持久化、高可用需求、value存储内容较大纯KV,数据量非常大,并发量非常大的业务
社区支持Redis 的社区支持更好,有更多的插件和工具可以使用支持较少

4. Memcached 工作机制

① 数据存储:Memcached 将数据存储在内存中,以提供快速的数据访问。当应用程序需要访问数据时,它首先检查内存中是否有这个数据。如果内存中有这个数据,应用程序就可以直接从内存中获取数据,而不需要访问数据库。

② 数据分片:Memcached 将数据分片存储在多台服务器上。这样可以提高系统的可扩展性和性能。例如,如果你有 10 GB 的数据,你可以将这 10 GB 的数据分片存储在 10 台服务器上,每台服务器存储 1 GB 的数据。

③ 数据访问:当应用程序需要访问数据时,它首先计算数据的键,然后根据这个键选择一个服务器。然后,应用程序就可以直接从这个服务器获取数据。

④ 数据更新:当应用程序更新数据时,它首先计算数据的键,然后根据这个键选择一个服务器。然后,应用程序就可以直接在这个服务器上更新数据。

⑤ 数据失效:Memcached 有一个失效机制,当数据过期时,Memcached 会自动删除这个数据。这样可以避免内存被无用的数据占满。

虽然 Memcached 可以提供快速的数据访问,但它也有一些限制。例如,由于数据存储在内存中,所以 Memcached 的存储空间是有限的。另外,由于 Memcached 是一个分布式系统,所以它可能会受到网络延迟的影响。

二、 Memcached 部署

1. Yum 安装

① 直接命令安装

[root@localhost ~]# yum install -y memcached
[root@localhost ~]# systemctl start memcached.service 
[root@localhost ~]# ss -natp | grep memcached
LISTEN     0      128          *:11211                    *:*                   users:(("memcached",pid=6451,fd=26))
LISTEN     0      128         :::11211                   :::*                   users:(("memcached",pid=6451,fd=27))

② 查看配置文件

[root@localhost ~]# vim /etc/sysconfig/memcached
PORT="11211"     #监听端口
USER="memcached" #启动用户
MAXCONN="1024"  #最大连接数
CACHESIZE="64"  #最大使用内存
OPTIONS="" #其他选项

2. 编译安装

① 安装编译工具,下载安装

[root@localhost opt]# yum -y install gcc libevent-devel
[root@localhost opt]# wget http://memcached.org/files/memcached-1.6.6.tar.gz
[root@localhost opt]# tar xvf memcached-1.6.6.tar.gz
[root@localhost opt]# cd memcached-1.6.6/
[root@localhost memcached-1.6.6]# ./configure --prefix=/apps/memcached
[root@localhost memcached-1.6.6]# make -j 2 && make install
[root@localhost memcached-1.6.6]# echo 'PATH=/apps/memcached/bin:$PATH' > /etc/profile.d/memcached.sh
[root@localhost memcached-1.6.6]# . /etc/profile.d/memcached.sh

② 新建用户

[root@localhost ~]# useradd -r -s /sbin/nologin memcached

③ 编辑配置文件

[root@localhost ~]# cat > /etc/sysconfig/memcached  << eof
PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="64"
OPTIONS=""
eof

④ 准备service文件

[root@localhost ~]# cat > /lib/systemd/system/memcached.service  << eof
> [Unit]
> Description=memcached daemon
> Before=httpd.service
> After=network.target
> [Service]
> EnvironmentFile=/etc/sysconfig/memcached
> ExecStart=/apps/memcached/bin/memcached -p  \${PORT} -u \${USER} -m \${CACHESIZE} -c \${MAXCONN} \$OPTIONS
> [Install]
> WantedBy=multi-user.target
> eof

⑤ 刷新配置,启动服务

[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl enable --now memcached.service

⑥ 调整哈希表大小的参数

默认前台执行
[root@localhost ~]# memcached -u memcached -m 1024 -c 65536 -f 2 -vv
#从这个命令会以默认的前台模式启动 Memcached 服务
# -u memcached 参数表示以 memcached 用户的身份运行 Memcached 服务
# -m 1024 参数表示分配 1024 MB 的内存给 Memcached 服务
# -c 65536 参数表示允许 65536 个并发连接
# -f 2 参数表示增长因子为 2
# -vv 参数表示输出详细的日志信息。以台方式执行
[root@localhost ~]# memcached -u memcached -m 1024 -c 65536 -d
# 这个命令会以台方式启动 Memcached 服务
# -d 参数表示以台方式运行 Memcached 服务,这意味着 Memcached 服务会在后台运行,而不会占用当前的终端。其他的参数的含义和默认前台执行的命令相同。

3. Memcached 启动程序说明

修改memcached 运行参数,可以使用下面的选项修改/etc/sysconfig/memcached文件,memcached 常见选项:

-u username memcached运行的用户身份,必须普通用户
-p 绑定的端口,默认11211
-m num 最大内存,单位MB,默认64MB
-c num 最大连接数,缺省1024
-d 守护进程方式运行
-f 增长因子Growth Factor,默认1.25
-v 详细信息,-vv能看到详细信息
-M 使用内存直到耗尽,不许LRU
-U 设置UDP监听端口,0表示禁用UDP

三、 Memcached 使用

1. Memcached 开发库和工具

① 安装工具包

[root@localhost ~]# yum install  libmemcached -y

② 检测连接服务器

[root@localhost ~]# memping --servers 192.168.190.104
[root@localhost ~]# echo $?
0                            # 检测在线

③ 获取 Memcached 服务的基本信息

[root@localhost ~]# memstat --servers=192.168.190.104
Server: 192.168.190.104 (11211)pid: 3652uptime: 856
……

2. Memcached 操作命令

四种基本 memcached 命令执行最简单的操作。这些命令和操作包括:

  • set:重新加载
  • add:添加一个数据
  • get:调用
  • delete:删除
前三个命令是用于操作存储在 memcached 中的键值对的标准修改命令,都使用如下所示的语法:
command <key> <flags> <expiration time> <bytes>
<value>参数说明如下:
command set/add/replace
key              # key 用于查找缓存值
flags            # 可以包括键值对的整型参数,客户机使用它存储关于键值对的额外信息
expiration time  # 在缓存中保存键值对的时间长度(以秒为单位,0 表示永远)
bytes            # 在缓存中存储的字节数
value            # 存储的值(始终位于第二行)
add key flags exptime bytes  #增加key,过期时间为秒,bytes为存储数据的字节数

示例:显示服务状态

[root@localhost ~]# telnet 192.168.190.104 11211
Trying 192.168.190.104...
Connected to 192.168.190.104.
Escape character is '^]'.
stats          # 显示服务状态
stats items    # 显示各个 slab 中 item 的数目和存储时长(最后一次访问距离现在的秒数)。
stats slabs    # 用于显示各个slab的信息,包括chunk的大小、数目、使用情况等

示例:添加数据

[root@localhost ~]# telnet 192.168.190.104 11211
Trying 192.168.190.104...
Connected to 192.168.190.104.
Escape character is '^]'.
add num 1 10 4           # 1:说明信息,10:超时时间,4:字节数
6666
STORED
get num                  # 调用数据
VALUE num 1 4
6666
END
get num                  # 10秒后丢失
END

示例:修改

set num 2 5 6
666666
STORED

示例:删除

set num 1 0 2
66
STORED
get num
VALUE num 1 2
66
END
delete num
DELETED
get num
END

示例:清空

set num 1 0 2  
66
STORED
get num
VALUE num 1 2
66
END
flush_all
OK
get num
END

四、Memcached 集群部署架构

Magent是google开发的项目,应用端通过负载均衡服务器连接到magent,然后再由magent代理用户应用请求到memcached处理,底层的memcached为双主结构会自动同步数据。通过负载均衡连接到memcached,有两台memcached做高可用,repcached版本的memcached之间会自动同步数据,以保持数据一致性,即使其中的一台memcached故障也不影响业务正常运行,故障的memcached修复上线后再自动从另外一台同步数据即可保持数据一致性。

1. 部署repcached

① 下载安装包编译安装

[root@localhost opt]# yum -y install gcc libevent libevent-devel
[root@localhost opt]# wget  https://jaist.dl.sourceforge.net/project/repcached/repcached/2.2.1-1.2.8/memcached-1.2.8-repcached-2.2.1.tar.gz
[root@localhost opt]# tar xf memcached-1.2.8-repcached-2.2.1.tar.gz
[root@localhost opt]# cd memcached-1.2.8-repcached-2.2.1
[root@localhost memcached-1.2.8-repcached-2.2.1]# ./configure --prefix=/apps/repcached --enable-replication
[root@localhost memcached-1.2.8-repcached-2.2.1]# vim memcached.c
#改为如下内容,即删除原有的原第57,59行
56 #ifndef IOV_MAX
57 # define IOV_MAX 1024
58 #endif
[root@localhost memcached-1.2.8-repcached-2.2.1]# make -j 2 && make install

② 制作软链接,启动服务

[root@localhost ~]# ln -s /apps/repcached/bin/memcached  /usr/bin/
[root@localhost ~]# memcached -d -m 1024 -p 11211 -u memcached -c 2048 -x 192.168.190.103
[root@localhost ~]# ss -ntl | grep 11211
LISTEN     0      128          *:11211                    *:*                  
LISTEN     0      128         :::11211                   :::*      

③ 在 server1 上将整个目录拷贝到 server2 上

192.168.190.104:
[root@localhost ~]# rsync -a /apps   192.168.190.103:/192.168.190.103:
[root@localhost ~]# useradd -r -s /sbin/nologin memcached
[root@localhost ~]# yum -y install gcc libevent libevent-devel
[root@localhost ~]# ln -s /apps/repcached/bin/memcached  /usr/bin/
[root@localhost ~]# memcached -d -m 1024 -p 11211 -u memcached -c 2048 -x 192.168.190.104
[root@localhost ~]# ss -ntl | grep 11211
LISTEN     0      128          *:11211                    *:*                  
LISTEN     0      128         :::11211                   :::* 

2. 数据同步

[root@localhost ~]# telnet 192.168.190.103 11211
Trying 192.168.190.103...
Connected to 192.168.190.103.
Escape character is '^]'.
add name 1 0 2
zs
STORED
quit
Connection closed by foreign host.
[root@localhost ~]# telnet 192.168.190.104 11211
Trying 192.168.190.104...
Connected to 192.168.190.104.
Escape character is '^]'.
get name
VALUE name 1 2
zs                               # 数据与103一致
END

3. 实现代理

① 配置haproxy代理

[root@localhost ~]# yum install -y haproxy.x86_64
[root@localhost ~]# vim /etc/haproxy/haproxy.cfg
listen membind 192.168.190.100:11211mode tcpserver m1 192.168.190.103:11211 checkserver m1 192.168.190.104:11211 check
[root@localhost ~]# systemctl restart haproxy.service
[root@localhost ~]# ss -natp | grep 11211
LISTEN     0      128    192.168.190.100:11211                    *:*                   users:(("haproxy",pid=2063,fd=7))

② 访问代理地址

[root@localhost ~]# telnet 192.168.190.100 11211
Trying 192.168.190.100...
Connected to 192.168.190.100.
Escape character is '^]'.
get name
VALUE name 1 2
zs                  # 实现调度获取数据
END

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/290007.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

基于springboot+vue+Mysql的家政服务管理平台

开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;…

Rabbitmq消息顺序的问题以及解决方案

1.1消息顺序的场景 场景1&#xff1a;一个queue&#xff0c;多个consumer 一个queue&#xff0c;有多个consumer去消费&#xff0c;这样就会造成顺序的错误&#xff0c;consumer从MQ里面读取数据是有序的&#xff0c;但是每个consumer的执行时间是不固定的&#xff0c;无法保…

第二十一章 Jquery ajax

文章目录 1. jquery下载2. jquery的使用3. jquery页面加载完毕执行4. jquery属性控制6. 遍历器 2. ajax1. 准备后台服务器2. ajax发送get请求3. ajax发送post请求 1. jquery下载 点击下载 稳定版本1.9 2. jquery的使用 存放到html文件的同级目录 3. jquery页面加载完毕执行…

论文《Exploring to Prompt for Vision-Language Models》阅读

论文《Exploring to Prompt for Vision-Language Models》阅读 论文概况论文动机&#xff08;Intro&#xff09;MethodologyPreliminaryCoOp[CLASS]位置Context 是否跨 class 共享表示和训练 ExperimentsOverall ComparisonDomain GeneralizationContext Length (M) 和 backbon…

【C语言】linux内核tcp_push函数

一、讲解 这个 tcp_push 函数是在Linux内核的TCP网络栈实现中&#xff0c;用于推动TCP缓冲区中待发送数据包的传输。这段代码需要在具备操作系统和网络编程知识背景下来解释。下面我将分步骤用中文逐一讲解这个函数的作用&#xff1a; 1. struct tcp_sock *tp tcp_sk(sk);&am…

Docker搭建LNMP环境实战(07):安装nginx

1、模拟应用场景描述 假设我要搭建一个站点&#xff0c;假设虚拟的域名为&#xff1a;api.test.site&#xff0c;利用docker实现nginxphp-fpmmariadb部署。 2、目录结构 2.1、dockers根目录 由于目前的安装是基于Win10VMWareCentOS虚拟机&#xff0c;同时已经安装了VMWareT…

冒泡排序(六大排序)

冒泡排序 冒泡排序的特性总结&#xff1a; 1. 冒泡排序是一种非常容易理解的排序 2. 时间复杂度&#xff1a;O(N^2) 3. 空间复杂度&#xff1a;O(1) 4. 稳定性&#xff1a;稳定 动图分析&#xff1a; 代码实现&#xff1a; Swap(int*p1,int*p2) {int tmp *p1;*p1*p2…

网络稳定性(蓝桥省赛)

0网络稳定性 - 蓝桥云课 (lanqiao.cn) 知识点&#xff1a;克鲁斯卡尔生成树&#xff0c;lca&#xff0c;倍增 最小生成树的模板&#xff1a;最小生成树【模板】-CSDN博客 题解代码如下&#xff1a; #include<bits/stdc.h> using namespace std; const int N3e5100; co…

ssh 公私钥(github)

一、生成ssh公私钥 生成自定义名称的SSH公钥和私钥对&#xff0c;需要使用ssh-keygen命令&#xff0c;这是大多数Linux和Unix系统自带的标准工具。下面&#xff0c;简单展示如何使用ssh-keygen命令来生成具有自定义名称的SSH密钥对。 步骤 1: 打开终端 首先&#xff0c;打开我…

用Kimichat快速识别出图片中的表格保存到Excel

如果有一张图片格式的表格&#xff0c;想要快速复制到Excel表格中&#xff0c;那么一般要借助于OCR工具。之前试过不少在线OCR工具&#xff0c;识别效果差强人意。其实&#xff0c;kimichat就可以非常好的完成这个任务。 下面是一张研报中的表格&#xff0c;只能以图片形式保存…

RTOS线程切换的过程和原理

0 前言 RTOS中最重要的一个概念就是线程&#xff0c;线程的按需切换能够满足RTOS的实时性要求&#xff0c;同时能将复杂的需求分解成一个个线程执行减轻我们开发负担。 本文从栈的角度出发&#xff0c;详细介绍RTOS线程切换的过程和原理。 注&#xff1a;本文参考的RTOS是RT-T…

DataX-Oracle新增writeMode支持update

目录 前言 第一步下载源码 第二步修改源码 1、Oraclewriter 2、WriterUtil 2.1、修改getWriteTemplate方法 2.2、新增onMergeIntoDoString与getStrings方法 3、CommonRdbmsWriter 3.1、修改startWriteWithConnection 3.2、修改doBatchInsert 3.3、修改fillPreparedStatem…

单例模式如何保证实例的唯一性

前言 什么是单例模式 指一个类只有一个实例&#xff0c;且该类能自行创建这个实例的一种创建型设计模式。使用目的&#xff1a;确保在整个系统中只能出现类的一个实例&#xff0c;即一个类只有一个对象。对于频繁使用的对象&#xff0c;“忽略”创建时的开销。特点&#xff1a…

zedboard+AD9361 运行 open WiFi

先到github上下载img&#xff0c;网页链接如下&#xff1a; https://github.com/open-sdr/openwifi?tabreadme-ov-file 打开网页后下载 openwifi img 用win32 Disk lmager 把文件写入到SD卡中&#xff0c;这一步操作会把SD卡重新清空&#xff0c;注意保存数据。这个软件我会…

基于SpringBoot和Vue的在线视频教育平台的设计与实现

今天要和大家聊的是一款基于SpringBoot和Vue的在线视频教育平台的设计与实现 &#xff01;&#xff01;&#xff01; 有需要的小伙伴可以通过文章末尾名片咨询我哦&#xff01;&#xff01;&#xff01; &#x1f495;&#x1f495;作者&#xff1a;李同学 &#x1f495;&…

mysql--事务四大特性与隔离级别

事务四大特性与隔离级别 mysql事务的概念事务的属性事务控制语句转账示例 并发事务引发的问题脏读脏读场景 不可重复读幻读幻读场景 事务的隔离级别读未提交读已提交可重复读&#xff08;MySQL默认&#xff09; 总结 mysql事务的概念 事务就是一组操作的集合&#xff0c;他是一…

STM32时钟简介

1、复位&#xff1a;使时钟恢复原始状态 就是将寄存器状态恢复到复位值 STM32E10xxx支持三种复位形式,分别为系统复位、上电复位和备份区域复位。 复位分类&#xff1a; 1.1系统复位 除了时钟控制器的RCC_CSR寄存器中的复位标志位和备份区域中的寄存器以外,系统 复位将复位…

leetcode热题100.柱状图中最大的矩形

Problem: 84. 柱状图中最大的矩形 文章目录 题目思路复杂度Code 题目 给定 n 个非负整数&#xff0c;用来表示柱状图中各个柱子的高度。每个柱子彼此相邻&#xff0c;且宽度为 1 。 求在该柱状图中&#xff0c;能够勾勒出来的矩形的最大面积。 示例 1: 输入&#xff1a;hei…

Qlib-Server:量化库数据服务器

Qlib-Server:量化库数据服务器 介绍 Qlib-Server 是 Qlib 的配套服务器系统,它利用 Qlib 进行基本计算,并提供广泛的服务器系统和缓存机制。通过 Qlib-Server,可以以集中的方式管理 Qlib 提供的数据。 框架 Qlib 的客户端/服务器框架基于 WebSocket 构建,这是因为 WebS…

OpenHarmony中的LLDB高性能调试器

概述 LLDB&#xff08;Low Lever Debugger&#xff09;是新一代高性能调试器。详细说明参考 LLDB官方文档 。 当前OpenHarmony中的LLDB工具是在 llvm15.0.4 基础上适配演进出来的工具&#xff0c;是HUAWEI DevEco Studio工具中默认的调试器&#xff0c;支持调试C和C应用。 工…