从并发20到并发120之laravel性能优化

调优成果

遇到问题

单台服务并发20,平均响应时间1124ms,通过htop观察,发现cpu占用率达到100%(包括sleep的进程),内存几乎没怎么用。
在这里插入图片描述

调优后

单机最大吞吐量达到120 响应时长不超过1000ms
在这里插入图片描述

硬件信息

操作系统: Linux 系统版本为 CentOS 8
CPU:4核 3.20GHz
内存:8GB

[work@test-mapi ~]$ uname -a
Linux test-mapi 4.18.0-305.10.2.el8_4.x86_64 #1 SMP Tue Jul 20 17:25:16 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
[work@test-mapi ~]$ 
[work@test-mapi ~]$ lscpu
Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  2
Core(s) per socket:  2
Socket(s):           1
NUMA node(s):        1
Vendor ID:           GenuineIntel
CPU family:          6
Model:               106
Model name:          Intel(R) Xeon(R) Platinum 8372C CPU @ 3.20GHz[work@test-mapi ~]$ free -htotal        used        free      shared  buff/cache   available
Mem:          7.5Gi       1.5Gi       1.7Gi        33Mi       4.2Gi       5.6Gi
Swap:            0B          0B          0B

应用环境

PHP:7.3

[work@test-mapi mapi]$ php artisan 
Laravel Framework 6.20.44
[work@test-mapi ~]$ php -v
PHP 7.3.30 (cli) (built: Sep 23 2021 16:03:45) ( NTS )
Copyright (c) 1997-2018 The PHP Group
Zend Engine v3.3.30, Copyright (c) 1998-2018 Zend Technologies

探索方案

开启opcache

OPcache 是 PHP 的一个扩展,用于加速 PHP 脚本的执行。它通过将 PHP 脚本的编译结果(即opcode)缓存起来,从而避免每次请求都重新编译脚本,提高性能。
在php.ini内开启opcache,相关参数如下:

[dba]
;dba.default_handler=[opcache]opcache.enable=1 ; 启用 OPCache
opcache.enable_cli=1 ; 在命令行模式下也启用 OPCache
opcache.jit=tracing ; 启用 JIT 跟踪模式,根据执行情况动态编译热点代码
opcache.jit_buffer_size=256M ;JIT 编译保留的内存大小
opcache.memory_consumption=512M ; OPCache 可使用的内存大小
opcache.interned_strings_buffer=64M ; 用于存储内部字符串的缓冲区大小
opcache.max_accelerated_files=10000 ; 缓存的最大文件数量
opcache.revalidate_freq=60 ; OPcache 每隔 60 秒会检查一次脚本文件是否有修改。默认值通常为 20则认为是每次启动都检查文件是否修改,会增加IO操作,影响性能够 ,这个参数只有在 opcache.validate_timestamps=1 的情况下才有效
opcache.validate_timestamps=1;启用文件变更检查  0禁用文件变更检查
opcache.fast_shutdown=1 ; 快速关闭,提高性能
opcache.save_comments=1 ; 保存注释,某些框架或应用可能依赖注释

开启了opcache之后,每秒的吞吐量达到了70。

php-fmp 静态模式

通过htop观察发现,内存使用率很少,说明内存并不是laravel的瓶颈,考虑增加php-fmp的工作池

emergency_restart_threshold = 30;60s内超过 30PHP-FPM 进程因出现异常(如段错误)而退出,那么 PHP-FPM 主进程会自动重启
emergency_restart_interval = 60s;配合第一个选项使用
process_control_timeout = 5s;停止php-fmp的时候,如果子进程超过5s未响应,则强制终止
daemonize = yes;后台运行
process.max = 500;限制 PHP-FPM 可以生成的最大进程数。这个配置项定义了整个 PHP-FPM 服务的上限,而不是单个工作池的限制。
;;;;;;;;;;;;;;;;;;;;
; Pool Definitions ;
;;;;;;;;;;;;;;;;;;;;[work]
pm = static;设置了 PHP-FPM 的进程管理模式为静态(static),即总是启动固定数量的子进程
pm.max_children = 200; 定义了静态模式下 PHP-FPM 工作池可以生成的最大子进程数,即始终有 200 个子进程等待处理请求。
pm.start_servers = 20;这些参数用于动态模式下,控制 PHP-FPM 启动时的初始子进程数
pm.min_spare_servers = 20;
pm.max_spare_servers = 300
pm.max_requests = 10240;每个子进程在处理完 10240 个请求后会自动重启。这有助于防止内存泄漏问题。
pm.process_idle_timeout = 5s;动态模式下,闲置进程在超过 5 秒没有处理请求后被终止。在静态模式下无效。
request_terminate_timeout = 120;强制终止执行时间超过 120 秒的请求。用于防止超长时间执行的脚本占用系统资源。
request_slowlog_timeout = 2;慢请求的阈值(2 秒)。如果请求执行时间超过这个值,PHP-FPM 会将其记录到慢日志中。
slowlog = /data/logs/php/slow.log
rlimit_files = 51200;设置了 PHP-FPM 子进程可以打开的最大文件描述符数量。这影响 PHP-FPM 可以同时处理的文件数。
rlimit_core = 0;设置 PHP-FPM 子进程可以生成的 core dump 文件的最大大小(以字节为单位)。0 表示禁用 core dump。

重启php-fmp

sudo systemctl restart php-fpm

phpredis

Laravel 自己封装了一个 Redis,叫predis,当我们用laravel自带的Redis Facade,那么每次调用redis都需要编译这个Redis组件,而且是不支持连接池的。但是PHP有一个由c编写的一个PHP扩展比它效率更高,保证服务器安装了php的Redis扩展,我们就可以改写predis,修改驱动为phpredis。

框架内的优化

在php-fmp的进程里面,running的进程不超过30个,而sleep的有时候可以达到300多。
于是考虑是发生了系统调用导致部分子进程sleep。找到一个sleep的进程的pid,执行命令sudo strace -p 487143;相关输出如下

openat(AT_FDCWD, "/data/backend/mapi/vendor/nesbot/carbon/src/Carbon/CarbonTimeZone.php", O_RDONLY) = 11
fstat(11, {st_mode=S_IFREG|0775, st_size=8734, ...}) = 0
fstat(11, {st_mode=S_IFREG|0775, st_size=8734, ...}) = 0
fstat(11, {st_mode=S_IFREG|0775, st_size=8734, ...}) = 0
mmap(NULL, 8734, PROT_READ, MAP_SHARED, 11, 0) = 0x7fe191b5a000
munmap(0x7fe191b5a000, 8734)            = 0
close(11)                               = 0
lstat("/data/backend/mapi/storage/framework/sessions/kIiKqblIWBkWiyyxxCRjHiIEtfr5Q0iId5JYdB3S", 0x7ffc68443b70) = -1 ENOENT (No such file or directory)
openat(AT_FDCWD, "/data/backend/mapi/storage/framework/sessions/kIiKqblIWBkWiyyxxCRjHiIEtfr5Q0iId5JYdB3S", O_WRONLY|O_CREAT, 0666) = 11

关闭session

发现有对session的写操作,打开laravel,发现session的驱动是通过file驱动的,因为我们没有用session ,所以打算关闭session ,设置drive为array,当然,有其他非必要的中间件也可以删除
mapi/config/session.php

//    'driver' => env('SESSION_DRIVER', 'file'),'driver' => 'array',

关闭Http/Kernel.php中的session,包括csrftoken等文件

//            \Illuminate\Session\Middleware\StartSession::class,
//            \Illuminate\Session\Middleware\AuthenticateSession::class,
//            \Illuminate\View\Middleware\ShareErrorsFromSession::class,
//            \App\Http\Middleware\VerifyCsrfToken::class,

composer

在composer里面,可能有很多没用到的组件,在项目启动时也会被加载,导致项目启动慢,我删除了debug相关的组件。

关闭debug

在env文件中,有的会开启APP_DEBUG=true,

利用laravel的缓存提升效率

我们可以把配置信息,路由信息等缓存起来,artisan提供了相关的方法

hp artisan config:cache 
配置缓存php artisan route:cache  
路由缓存php artisan optimize
缓存优化composer dumpautoload -o
优化引入文件

执行完毕之后,在api/bootstrap/cache目录下,会生成对应的缓存文件
在这里插入图片描述

注意,如果路由和配置等有改动,需要清理缓存

清理缓存
php artisan config:clear
php artisan route:clear
php artisan clear-compiled

踩坑

php artisan route:clear

php artisan route:clear这个命令会缓存路由信息,但是他只加载一次路由文件,所以当路由文件被分割后,会导致路由缓存失效,访问就会返回404,这种情况下,我们可以通过require命令,把路由文件加载过来,

// 订单相关
require 'OrderRoute.php';
// 交易相关
require 'TradeRoute.php';

或者也可以注册路由到路由服务提供者里面,在mapi/app/Providers/RouteServiceProvider里面注册

    /*** Define the "backend" routes for the application.** These routes all receive session state, CSRF protection, etc.** @return void*/protected function mapBackendRoutes(){Route::middleware('web')->prefix("backend")->namespace($this->namespace)->group(base_path('routes/backend.php'));}
  • 另外一个点是路由缓存是不支持闭包的,也就是说每个路由都必须指定到某个controller的action。否则会缓存失败。

更深层次的思考

我们平时分析CPU的使用率,一般使用top或者ps等,top显示了系统总体的CPU和内存使用情况,ps则只显示了每个进程的资源使用情况。但是top并没有细分进程的用户态CPU和内核态CPU。那要怎么查看每个进程的详细情况呢? pidstat,它正是一个专门分析每个进程CPU使用情况的工具。
在这里插入图片描述
我们找到比较耗CPU的进程之后,可能还想知道是哪个函数展会用CPU,那么我们就可以使用perf来查找

 perf top

在这里插入图片描述

  • zend_execute_data
    zend_execute_data是执行过程中最核心的一个结构,每次函数的调用、include/require、eval等都会生成一个新的结构,它表示当前的作用域、代码的执行位置
  • libc.so
    PHP 是一种用 C 编写的脚本语言解释器,因此它依赖于 C 语言的标准库。在 Linux 系统上,PHP 的执行环境(包括 PHP 解释器和扩展)会间接依赖 libc.so。例如,当 PHP 脚本执行文件操作、网络请求、字符串处理等操作时,底层实际上调用的是 libc.so 中的相关函数。
  • zend_hash_find
    zend_hash_find 是 Zend 引擎中的一个函数,Zend 引擎是 PHP 的核心部分,负责解析、编译和执行 PHP 代码。
    zend_hash_find 的作用
    zend_hash_find 用于在哈希表中查找一个元素。哈希表在 PHP 内部广泛用于各种数据结构的实现,如数组、符号表、对象属性等。
  • 其他命令
#利用perf record采集静态样本,并保存到本地
[root@localhost ~]# perf record         #按Ctrl+C 终止采样
[ perf record: Woken up 23 times to write data ]
[ perf record: Captured and wrote 5.787 MB perf.data (121112 samples) ]
[root@localhost ~]# ls
anaconda-ks.cfg  perf.data  sysstat-12.1.5-1.x86_64.rpm
[root@localhost ~]# du -sh perf.data    #这就是采集到的样本
5.8M    perf.data
#对本地的静态样本进行分析
[root@localhost ~]# perf report         #会自动打开当前目录下的perf.data
Samples: 121K of event 'cpu-clock', Event count (approx.): 30278000000                                                                         
Overhead  Command         Shared Object        Symbol                                                                                          99.86%  swapper         [kernel.kallsyms]    [k] native_safe_halt0.03%  kworker/1:1     [kernel.kallsyms]    [k] _raw_spin_unlock_irqrestore0.01%  bash            [kernel.kallsyms]    [k] _raw_spin_unlock_irqrestore0.01%  sshd            [kernel.kallsyms]    [k] e1000_xmit_frame0.01%  kworker/u256:3  [kernel.kallsyms]    [k] mpt_put_msg_frame0.00%  swapper         [kernel.kallsyms]    [k] __do_softirq0.00%  sshd            [kernel.kallsyms]    [k] __memcpy0.00%  bash            [kernel.kallsyms]    [k] __x2apic_send_IPI_mask0.00%  ps              [kernel.kallsyms]    [k] __memcpy0.00%  migration/1     [kernel.kallsyms]    [k] migration_cpu_stop0.00%  ps              [kernel.kallsyms]    [k] follow_page_mask0.00%  ps              [kernel.kallsyms]    [k] vsnprintf0.00%  bash            [kernel.kallsyms]    [k] __do_page_fault0.00%  kworker/0:1     [kernel.kallsyms]    [k] _raw_spin_unlock_irqrestore0.00%  perf            [kernel.kallsyms]    [k] mem_cgroup_update_page_stat0.00%  ps              [kernel.kallsyms]    [k] format_decode

相关参考

记一次 PHP 并发性能调优实战 – 性能提升 104%

记一次 Laravel 应用性能调优经历

某个应用的CPU使用率居然达到100%,我该怎么做?(三)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/405188.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

EfficientFormer 系列算法

1. EfficientFormer V1 模型 论文地址:https://proceedings.neurips.cc/paper_files/paper/2022/file/5452ad8ee6ea6e7dc41db1cbd31ba0b8-Paper-Conference.pdf EfficientFormer V1 基于 ViT 的模型中使用的网络架构和具体的算子,找到端侧低效的原因。然…

高性能web服务器nginx

目录 nginx简介 服务端 I/O 流程 Nginx 进程结构 Nginx启动流程 nginx的源码编译下载 nginx命令常见参数 nginx的配置文件详解 全局配置优化 nginx的平滑升级和回滚 nginx目录匹配优先级测试(因为只支持访问文件,所有不比对匹配目录优先级&…

五、2 移位操作符赋值操作符

1、移位操作符 2、赋值操作符 “ ”赋值,“ ”判断是否相等 1)连续赋值 2)复合赋值符

C ++初阶:类和对象(上)

目录 🌞0.前言 1. 面向过程和面向对象初步认识 2..类的引入与定义 2.1类的引入 2.2类的定义 3.类的访问限定符及其封装 3.1访问限定符 3.2封装 4.类的作用域 4.1加餐和发现 5.类的实例化 6.类对象大小的计算 6.1.内部的存储方式 6.2结构体对齐规则回顾…

一、什么是 mvvm? MVC、MVP、MVVM三种模式的区别与详解

简介 MVC、MVP、MVVM都是常见的软件架构模式。 MVC(Model-View-Controller)架构模式中,将应用程序分为三个主要部分:模型(Model)、视图(View)和控制器(Controller&…

STM32自制手持小风扇实验

1.1 介绍: 实验功能说明:功能(1)按一下按键小风扇开启,再按一下关闭。 功能(2)按一下按键小风扇一档风速,再按一下二挡,依次三挡…关闭。 按键模块说明:按下…

什么是AR、VR、MR、XR?

时代背景 近年来随着计算机图形学、显示技术等的发展,视觉虚拟化技术得到了广泛的发展,并且越来越普及化,慢慢的也走入人们的视野。目前市场上视觉虚拟化技术的主流分为这几种 VR、AR、MR、XR。这几项技术并不是最近才出现的,VR的…

路由器VLAN配置(H3C)

路由器VLAN配置(H3C) 控制页面访问 路由器默认处于192.168.1.1网段(可以短按reset重置),如果要直接使用需要设置静态IP处于同一网段; 对路由器进行配置也要将电脑IP手动设置为同一网段; 默…

执行rasa shell 遇到asyncio.exceptions.TimeoutError报错

在《树莓派3B运行rasa init和rasa shell遇到的tensorflow报错总结》一文中,我遇到的第7个报错是首次运行rasa shell时候碰到的。按照我在文中记录的解决方案,处理成功。 结果,今天我又一次遇到了asyncio - Task exception was never retrie…

91. 解码方法 -dp4

. - 力扣(LeetCode). - 备战技术面试?力扣提供海量技术面试资源,帮助你高效提升编程技能,轻松拿下世界 IT 名企 Dream Offer。https://leetcode.cn/problems/decode-ways/description/ 示例 1: 输入:s &…

「字符串」前缀函数|KMP匹配:规范化next数组 / LeetCode 28(C++)

概述 为什么大家总觉得KMP难?难的根本就不是这个算法本身。 在互联网上你可以见到八十种KMP算法的next数组定义和模式串回滚策略,把一切都懂得特别混乱。很多时候初学者的难点根本不在于这个算法本身,而是它令人痛苦的百花齐放的定义。 有…

ee trade:黄金投资与股票投资的区别

黄金和股票, 是金融市场中两种常见的投资工具, 它们拥有截然不同的特点和风险, 了解它们的差异, 可以帮助投资者制定更合理的投资策略。 一、 投资性质: 避险与成长, 两种投资方向 黄金: 被视…

【C++】入门篇一

【C】入门篇一 一 .缺省参数1.缺省参数的概念2. 缺省参数分类 二. 函数重载1. 函数重载概念2.函数重载代码举例 三.引用1.引用的概念2. 引用特性3. 常引用4. 使用场景(1). 做参数(2). 做返回值 5. 传值、传引用效率比较6. 引用和指针的区别7.引用和指针的不同点 一 .缺省参数 …

如何将MySQL迁移到TiDB,完成无缝业务切换?

当 MySQL 数据库的单表数据量达到了亿级,会发生什么? 这个现象表示公司的业务上了一个台阶,随着数据量的增加,公司规模也进一步扩大了,是非常喜人的一个改变 ,然而随之而来的其他变化,就没那么…

Python | Leetcode Python题解之第354题俄罗斯套娃信封问题

题目: 题解: class Solution:def maxEnvelopes(self, envelopes: List[List[int]]) -> int:if not envelopes:return 0n len(envelopes)envelopes.sort(keylambda x: (x[0], -x[1]))f [1] * nfor i in range(n):for j in range(i):if envelopes[j]…

全液冷服务器革命:CPU、内存、PCIe高效散热新方案

在国家十四五规划大力发展数字经济的背景下,数据中心作为算力的核心载体,其基础设施成为支撑数字经济的“数字底座”,但同时也面临巨大的碳排放压力。随着芯片与服务器功耗的上升,单机柜功率密度不断增大,传统风冷散热…

深度学习设计模式之享元设计模式

文章目录 前言一、介绍二、特点三、详细介绍1.核心组成2.代码示例3.优缺点优点缺点 4.使用场景 总结 前言 享元设计模式主要用于减少创建对象的数量,以减少内存占用,提高性能。 一、介绍 享元设计模式(Flyweight Pattern)是一种…

Hexo通过GitHub设置自定义域名

本身GitHub也是支持自定义域名的,本次教程将讲解如何使用GitHub自带的自定义域名解析。 1. GitHub设置 1.1 登录GitHub账号 登录GitHub账号,找到名称为 用户名.github.io的仓库,并点击进入。 1.2 进入Settings页面 点击如图的Settings按…

【体检】程序人生之健康检查,全身体检与预防疫苗,五大传染病普筛,基因检测等

程序员养生指南之 【体检】程序人生之健康检查,全身体检项目分类,五大传染病普筛,基因检测等 文章目录 一、全身体检与预防疫苗(年检)1、实验室检测:生化全套检查2、医技检查:辅助诊疗科室3、科…

python中使用gurobi遇到强不等式约束(只有大于或者小于而不是大于等于或者小于等于的形式)的解决办法

文章目录 情况分析与解决思路数学模型严格不等式约束转化后的约束形式带入具体的 ϵ \epsilon ϵ 值 python代码总结 情况分析与解决思路 在gurobi求解数学优化问题时&#xff0c;标准的约束形式通常是大于等于&#xff08; >&#xff09;或小于等于&#xff08;<&…