memcached 高性能内存对象缓存

  • memcached 高性能内存对象缓存

    • memcache是一款开源的高性能分布式内存对象缓存系统,常用于做大型动态web服务器的中间件缓存。

    • mamcached做web服务的中间缓存示意图

      • 当web服务器接收到请求需要处理动态页面元素时,通常要去数据库调用数据,但是通过memcached-api接口程序不去直接访问数据库,而去访问mamcached,再由memcached去访问数据库获取数据,获得到数据后自己缓存一分,在发送给web服务器一份,下次再进行通向的访问就不需要访问数据库,从而实现降低数据库的io压力。

    • memcached的存储数据方式

      • slab allocation

        • 按组分配:每次先分配一个slab,大小相当于一个1M,在1M的这个大小内划分出等大小的chunk,该方法有效的解决了内存碎片问题,但也会因为不满足chunk的大小而造成空间浪费。

        • slab 按。。。分片

        • chunk 块

    • memcached的数据过期方式:随着数据越来越多内存不足的情况下,会清理一些数据。依据过期条件

      • LRU:最近最少使用的记录,会被清理

      • laxzy expiration:惰性过期,用get查看记录时间,从而决定是否过期。

    • memcached分布式缓存架构

      • 每个memcached独立存在,数据分配根据路由算法选择存储的memcached。读取数据时根据保存时的路由算法选择相同的服务器来读取数据,将memcached做一个互相复制,可以确保能读取到数据。路由算法由api接口指定

        • 路由算法

          • 求余数hash算法

            • 将key做hash运算得到一个整数,再进行哈希算法根据余数进行路由,这种方法简单,但只适合数据更改不太频繁的场景下,节点的变动也会有影响。

          • 一致性hash算法

            • 该算法适合动态环境,原理是按照hash算法把对应的key通过hash运算后映射成一个首尾相闭合的循坏,再把节点服务器也通过这种方法也映射到环中,顺时针计算将对象存储到离自己最近的机器中。

    • memcached部署

      • 单节点的memcached部署

        • 一台做memcached服务器,一台做lamp应用程序测试,宿主机用来访问验证。

        • 安装过程

          • 准备前奏

            • 处理内核安全机制与防火墙

            • 安装gcc

          • 源码安装memcached

            • 安装依赖工具

              • libevent

                • libevent是一款基于C语言编写的,轻量级的,开源的,高性能事件通知库,常用于构建高性能网络服务器,对高并发有很好的抗压能力。可移植性强。

                • 本案例以libevent-2.18源码包为例

                  • 拉取到源码包后进行解压编译安装

                    • 只需要在配置时指定安装路径,其他一切照常即可。

                    • ./configure --prefix=/usr/local/libevent

            • 本案例以memcached-1.5.1为例

            • 在配置时指定配置参数

              • ./configure \ --prefix=/usr/local/memcached \ --with-libevent=/usr/local/libevent

                • 一个安装路径,一个指定libevent的安装路径。

            • 编译与编译安装照常

            • 可以编写memcached的服务控制脚本

              • #!/bin/bash CMD="/usr/local/memcached/bin/memcached" start(){ $CMD -d -m 128 -u root } stop(){ killall memcached; } ACTION=$1 case $ACTION in 'start') start;; 'stop') stop;; 'restart') stop sleep 2 start;; *) echo 'Usage:{start|stop|restart}' esac

              • 测时前检查psmisc安装包是否安装,否则killall命令无法使用

              • 赋予该脚本执行权,就可以利用该脚本进行控制

            • 进行启动验证,查看是否监听了11211端口

          • 部署memcached api客户端

            • 搭建web网站,快速部署

              • 需要利用网络资源

              • yum -y install httpd mariadb mariadb-server php php-devel php-mysql

              • 之后启动相关服务

                • httpd

                • mariadb

                • 设置数据库密码

                  • mysqladmin -u root password 'pwd123'

              • 编写php测试网页检查php能否正常工作

            • 源码安装libmemcached

              • 该软件提供了api的接口,以libmemcached1.0.18为例。

              • 配置参数

                • ./configure \ --prefix=/usr/local/libmemcached \ --with-memcached=/usr/local/memcached

                  • 第二条指定了memcached扩展的位置

            • 源码包安装memcached扩展

              • 本案例以memcached2.2.0为例

                • 安装安装编译环境

                  • zlib zlib-devel

                • 解压进入cd目录

                  • memcached源码包本身不带配置项需要借用php工具生成对应的配置文件

                  • /usr/bin/phpize

                    • 该目录为yum方式安装的php工具的路径,如果是源码包安装通常会在/usr/local下的php安装目录中。

                    • 该命令需要autoconf软件包的支持,会在当前目录下生成对应的配置脚本.

                  • 生成配置文件后就可以进行配置了

                    • ./configure --with-php-config=/usr/bin/php-config --with-libmemcached-dir=/usr/local/libmemcached --disable-memcached-sasl --with-zlib-dir

                      • --with-php-config=/usr/bin/php-config

                        • 指定php配置文件的路径

                      • --with-libmemcached-dir=/usr/local/libmemcached

                        • 指定libmemcached的位置

                      • --disable-memcached-sasl

                        • 禁用sasl认证机制

                          • 1.SASL全称Simple Authentication and Security Layer,是一种用来扩充C/S模式验证能力的机制。简单来说SASL是一个胶合(glue)库,通过这个库把应用层与形式多样的认证系统整合在一起。这有点类似于 PAM,但是后者是认证方式,决定什么人可以访问什么服务,而SASL是认证过程,侧重于信任建立过程,这个过程可以调用PAM来建立信任关系。在这里Memcached就是上面提到的应用层,具体的认证交给SASL库,SASL会根据相应的认证机制来完成验证功能。

                      • --with-zlib-dir

                        • 指定压缩函数库的位置,yum装的不需要指定路径,可以为空。

                  • 配置后进行编译安装,如果php是7的版本,编译安装会报错。

            • 配置php让其支持memcached组件

              • yum安装的的配置文件位置/etc/php.ini

                • 添加一行语句重启httpd即可

                  • extension=memcached.so

              • 如果是源码包安装的需要额外指定路径

                • extension_dir = "/usr/local/php5/lib/php/extensions/no-debug-zts-20121212/"

            • 重启httpd之后通过phpinfo可以查看是否开启了memcached的扩展模块。

            • 测试memcached-API功能

              • 在web'服务器网页文档目录下编写测试文档

                • <?php $memcache = new Memcached(); $memcache->addServer('192.168.10.101', 11211); $memcache->set('key', 'Memcache test successful!', 0, 60); $result = $memcache->get('key'); unset($memcache); echo $result; ?>

                • 最后访问时出现Memcache test successful!,表示api接口成功。

          • memcached作为非关系型数据库的基础操作

            • memcached本身没提供入口工具需要用telnet进行访问,需要下载。

            • 添加键值对

              • add 键名 0 0 8 值

                • 出现STORED表示存储成功

                • 第一个0表示标记位 ,例如压缩或加密,通常为0

                • 第二个0表示过期时间,为0表示永不过期,单位m 8表示值的字符长度,注意必须一样,少/多都不行。

                • 回车后输入值

            • 查看键值对

              • get 键名

            • 查看键名的更新因子

              • gets 键名

                • 通常最后一位数字表示更新因子

            • 更新键值

              • set 键名 0 0 8

            • 清除一条键值对

              • delete 键名

            • 键名重新复制

              • cas 键名 0 0 8 更新因子数

            • 追加数据

              • append 键名 0 0 追加字节数

            • 清除所有数据

              • flush_all

            • 查看状态信息

      • 总结单节点部署,服务器与应用程序各自需要的软件包

        • 服务器

          • libevent

          • memcached1.5.1

        • 应用程序

          • 除了本身必备的lamp以外

          • libmemcached

          • 安装memcached扩展 2.2.0

      • memcached主主复制与高可用

        • memcached支持多个memcached之间相互复制,已解决memcached的容灾问题。

        • memcached提供了专门用于高可用配置的软件八包。本案例以memcached-1.2.8-repcached-2.2.tar.gz为例。

        • 实验过程

          • 处理内核安全机制与防火墙

          • 两台主机构建高可用环境

            • 实验步骤基本一样,因此可以同步执行

          • 安装libevent

            • 安装编译环境及服务控制脚本所需软件包

              • 光盘的仓库安装gcc* psmisc

            • 解压后配置项

              • 指定安装路径即可

                • ./configure --prefix=/usr/local/libevent

              • 编译安装

                • make && make install

          • 安装memcached-1.2.8-repcached-2.2.tar.gz

            • 解压后配置项

              • ./configure \ --prefix=/usr/local/memcached_replication \ --enable-replication \ --with-libevent=/usr/local/libevent

                • --enable-replication一定要启用,否则无法进行主主复制操作。

                • --with-libevent指定事件通知函数库

            • 在进行编译前需要修改源代码

              • memcached.c

                • 在55~60行去掉

                  • #if defined(__FreeBSD__) || defined(__APPLE__)

                  • #endif

              • 之后进行编译安装

          • ln -s /usr/local/libevent/lib/libevent-2.1.so.6 /usr/lib64/

            • memcached的启动需要在该命令行下寻找函数

          • 启动memcached

            • /usr/local/memcached_replication/bin/memcached -d -u root -m 128 -x 192.168.10.102

              • -d 以守护进程的方式允许

              • -u 指定运行用户

              • -x 指定复制对端服务器的地址,如果在编译中没有启用复制功能则会在报错没有该选项。

              • -m 最大内存使用量,默认64M

              • 该位置需要修改为对方的IP

          • 之后再两台服务器上查看是否开启服务进程与联系对端的进程。

            • 利用telnet再一台主机上创建,在另一台主机上查询以验证复制功能。

          • memcached的高可用

            • 准备前奏

              • 关闭NetworkManager

                • 不关闭会让vip无法漂移

            • 安装keepalived

              • 修改配置文件

                • router_id LVS_01

                  • 两台主机不同用于区分。

                • #vrrp_strict

                  • 注释掉严格模式,否则无法实现单播通信

                • vrrp_script check_down { ##定义要执行的脚本 script "/etc/keepalived/memcached.sh" ##脚本路径和名称 interval 1 ##间隔1秒执行一次 }

                  • 添加脚本单元,不单对整机进行检查,还要对服务进行检查。

                  • #!/bin/bash # if [ $(ps -C memcached --no-header | wc -l) -eq 0 ]; then systemctl restart keepalived fi

                • state BACKUP

                • interface ens33

                  • 确定承载网卡

                • virtual_router_id 51

                  • 保证两台服务器用同一个id

                • priority 100

                  • 注意主服务器与从服务器的优先级

                • nopreempt

                  • 根据性能优劣来选择是否关闭抢占功能

                • virtual_ipaddress { 192.168.10.100 }

                  • 设定vip

                • track_script { check_down }

                  • 调用脚本

            • 之后进行验证测试

              • 需要修改访问测试页面的缓存服务器地址,如果搭建dns服务器则修改域名对应IP即可。

              • 关闭memcached进行高可用检测

        • 总结双节点部署memcached需要的软件包

          • memcached-1.2.8-repcached-2.2.tar.gz,memcached分布式高可用专用版软件包

          • 实现高可用的keepalived

全文复制到xmind中即可形成条理性笔记。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/379491.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Adobe国际认证详解-影视后期

在当今的数字媒体时代&#xff0c;影视后期制作作为创意产业的核心环节&#xff0c;对于专业技能的要求日益提高。Adobe国际认证&#xff0c;作为全球创意设计领域的重要标杆&#xff0c;为影视后期制作人员提供了一个展示自我、提升技能的国际舞台。 何为影视后期&#xff1f;…

Bean的注解开发

目录 注解定义bean 在实现类使用注解Component 注意Spring提供了Component注解的三个衍生注解 纯注解开发 bean管理 bean的作用范围 bean的生命周期 bean的依赖注入 引用类型的注入 如果有两个实现类呢&#xff08;即有两个相同变量类型的bean&#xff09;&#xff0c…

maven内网依赖包编译报错问题的一种解决方法

背景 外网开发时可以连接互联网&#xff0c;所以编译没有什么问题&#xff0c;但是将数据库、代码、maven仓库全部拷贝到内网&#xff0c;搭建内网环境之后&#xff0c;编译失败。 此依赖包的依赖层级图 maven镜像库配置使用拷贝到内网的本地库&#xff0c;配置如下&#xff…

从操作系统层面认识Linux

描述进程-PCB Linux操作系统下的PCB是: task_struct https://www.cnblogs.com/tongyan2/p/5544887.htmlhttps://www.cnblogs.com/tongyan2/p/5544887.html校招必背操作系统面试题-什么是 PCB&#xff08;进程控制块&#xff09; &#xff1f;_哔哩哔哩_bilibili校招必背操作系…

FOG Project 文件名命令注入漏洞复现(CVE-2024-39914)

0x01 产品简介 FOG是一个开源的计算机镜像解决方案,旨在帮助管理员轻松地部署、维护和克隆大量计算机。FOG Project 提供了一套功能强大的工具,使用户能够快速部署操作系统、软件和配置设置到多台计算机上,从而节省时间和精力。该项目支持基于网络的 PXE 启动、镜像创建和还…

应用层——HTTP

像我们电脑和手机使用的应用软件就是在应用层写的&#xff0c;当我们的数据需要传输的时候换将数据传递到传输层。 应用层专门给用户提供应用功能&#xff0c;比如HTTP,FTP… 我们程序员写的一个个解决我们实际的问题都在应用层&#xff0c;我们今天来聊一聊HTTP。 协议 协议…

配置SMTP服务器的要点是什么?有哪些限制?

配置SMTP服务器安全性如何保障&#xff1f;如何高效配置服务器&#xff1f; SMTP作为电子邮件发送的核心协议&#xff0c;其配置对于确保邮件的成功传递和安全至关重要。AokSend将详细介绍配置SMTP服务器的关键要点&#xff0c;帮助读者建立一个高效、安全的邮件发送系统。 配…

【BUG】已解决:note: This is an issue with the package mentioned above,not pip.

已解决&#xff1a;note: This is an issue with the package mentioned above&#xff0c;not pip. 欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 欢迎来到我的主页&#xff0c;我是博主英杰&#xff0c;211科班出身&#xff0c;就职于医疗科技公司&#xff0c;热衷…

【LabVIEW作业篇 - 3】:数组相加、for循环创建二位数组、数组练习(求最大最小值、平均值、中位数、提取范围内的数据、排序)

文章目录 数组相加for循环实现直接使用加函数 for循环创建二位数组数组练习 数组相加 要求&#xff1a;用两种方法实现两个数组相加 for循环实现 在前面板中分别创建两个数值类型的一维数组&#xff0c;并设置相应的值&#xff0c;然后在程序框图中创建一个for循环&#xff…

Android SurfaceView 组件介绍,挖洞原理详解

文章目录 组件介绍基本概念关键特性使用场景 SurfaceHolder介绍主要功能使用示例 SurfaceView 挖洞原理工作机制 使用SurfaceView展示图片示例创建一个自定义的 SurfaceView类在 Activity 中使用 ImageSurfaceView注意事项效果展示 组件介绍 在 Android 开发中&#xff0c;Sur…

uniapp-vue3-vite 搭建小程序、H5 项目模板

uniapp-vue3-vite 搭建小程序、H5 项目模板 特色准备拉取默认UniApp模板安装依赖启动项目测试结果 配置自动化导入安装依赖在vite.config.js中配置 引入 prerttier eslint stylelint.editorconfig.prettierrc.cjs.eslintrc.cjs.stylelintrc.cjs 引入 husky lint-staged com…

STM32智能家居电力管理系统教程

目录 引言环境准备智能家居电力管理系统基础代码实现&#xff1a;实现智能家居电力管理系统 4.1 数据采集模块 4.2 数据处理与控制模块 4.3 通信与网络系统实现 4.4 用户界面与数据可视化应用场景&#xff1a;电力管理与优化问题解决方案与优化收尾与总结 1. 引言 智能家居电…

SpringMVC注解全解析:构建高效Web应用的终极指南 (上)

SpringMVC 是一个强大的 Web 框架&#xff0c;广泛应用于 Java Web 开发中。它通过注解简化了配置&#xff0c;增强了代码的可读性。本文将全面解析 SpringMVC 中常用的注解及其用法&#xff0c;帮助你构建高效的 Web 应用。 一. MVC介绍 MVC 是 Model View Controller 的缩写…

Docker 镜像使用和安装

​ 1、简介 Docker是一个开源的应用容器引擎&#xff1b;是一个轻量级容器技术&#xff1b; Docker支持将软件编译成一个镜像&#xff1b;然后在镜像中各种软件做好配置&#xff0c;将镜像发布出去&#xff0c;其他使用者可以直接使用这个镜像&#xff1b; 运行中的这个镜像…

AI(Adobe lliustrator)教程+软件包

简介&#xff1a; 软件主要应用于印刷出版、海报书籍排版、专业插画、多媒体图像处理和互联网页面的制作等&#xff0c;也可以为线稿提供较高的精度和控制&#xff0c;适合生产任何小型设计到大型的复杂项目。 通常用于创建LOGO(商标或徽标)&#xff0c;图标&#xff0c;插图…

数据库管理的艺术(MySQL):DDL、DML、DQL、DCL及TPL的实战应用(上:数据定义与控制)

文章目录 DDL数据定义语言1、创建数据库2、创建表3、修改表结构4、删除5、数据类型 列的约束主键约束&#xff08;primary key&#xff09;唯一约束&#xff08;unique key&#xff09;非空约束检查约束&#xff08;check&#xff09;外键约束&#xff08;foreign key&#xff…

2024北京国际智能工厂及自动化展览会亮点前瞻

随着“工业创新&#xff0c;智造未来”的浪潮席卷而来&#xff0c;2024年度北京国际智能工厂及自动化与工业装配展览会定于8月1日至3日在中国国际展览中心&#xff08;顺义新馆&#xff09;盛大开幕。本次展会汇聚了智能制造与自动化技术的最新成果&#xff0c;通过三展联动的创…

Python基础语法篇(下)+ 数据可视化

Python基础语法&#xff08;下&#xff09; 数据可视化 一、函数&#xff08;一&#xff09;函数的定义&#xff08;二&#xff09;函数的调用和传参 二、文件操作&#xff08;一&#xff09;文件读取和写入&#xff08;二&#xff09;文件对象及方法&#xff08;三&#xff09…

UniVue@v1.5.0版本发布:里程碑版本

前言 以后使用UniVue都推荐使用1.5.0以后的版本&#xff0c;这个版本之后&#xff0c;更新的速度将会放缓。 希望这个框架能够切实的帮助大家更好的开发游戏&#xff0c;做出一款好游戏&#xff01;本开源项目采用的开源协议为MIT协议&#xff0c;完全开源化&#xff0c;以后也…

LinuxShell编程2——shell搭建Discuzz论坛网站

目录 一、环境准备 ①准备一台虚拟机 ②初始化虚拟机 1、关闭防火墙 2、关闭selinux 3、配置yum源 4、修改主机名 二、搭建LAMP环境 ①安装httpd(阿帕奇apache&#xff09;服务器 查看是否安装过httpd 启动httpd 设置开机启动 查看状态 安装网络工具 测试 ②安装…