MySQL追梦旅途之性能优化

1、索引优化

索引可以显著加速查询操作,但过多或不适当的索引也会带来负面影响(如增加写入开销)。因此,选择合适的索引至关重要。

创建索引:

为经常用于WHERE子句、JOIN条件和ORDER BY排序的列创建索引。

CREATE INDEX idx_last_name ON employees (last_name);

复合索引:

如果多个列经常一起出现在查询条件中,考虑创建复合索引。

first_name, last_name复合索引,即使 where first_name 也会走复合索引,但是where last_name不行

CREATE INDEX idx_composite ON orders (customer_id, order_date);

覆盖索引:

确保索引包含所有需要返回的数据列,从而避免回表查找。

意思是索引里面是你需要查询的字段,比如product_name

CREATE INDEX idx_covering ON products (category_id, price, product_name);索引`first_name`, `last_name`即使last_name不是索引第一个,但是查询里面有last_name,所以走索引
如果查询字段存在索引里面没有的字段(不包括主键)则不会走索引
SELECT last_name FROM `123`.`Employees` WHERE last_name=''

索引维护:

定期分析和优化索引,删除不再使用的索引以减少不必要的开销。

2、查询优化

优化SQL查询可以帮助减少执行时间和资源使用。

避免全表扫描:

尽量使用索引来限制扫描范围,避免对大表进行全表扫描。

EXPLAIN  SELECT birth_date,first_name FROM Employees WHERE last_name=''

全表扫描

减少结果集大小:

只选择需要的字段,而不是使用SELECT *。

优化连接(JOIN):

确保参与连接的列上有适当的索引,并且尽可能缩小连接前的结果集。

SELECT o.order_id, c.customer_name 
FROM orders o JOIN customers c ON o.customer_id = c.customer_id 
WHERE o.status = 'shipped';

预过滤:在执行连接之前,尽可能地减少每个表中的行数。你可以通过添加更严格的WHERE子句条件来实现这一点。比如,如果只需要特定日期范围的数据,就在连接之前用WHERE子句限定日期范围。

示例:

场景描述:

在一个电子商务系统中,有orders(订单表)和products(商品表)。我们想要获取在过去一个月内购买了特定类别商品的所有订单详情。如果不进行预过滤,这将涉及到两个大表之间的全表扫描和连接。

SELECTo.order_id,p.product_name,o.order_date 
FROMorders oJOIN order_items oi ON o.order_id = oi.order_idJOIN products p ON oi.product_id = p.product_id 
WHEREo.order_date >= '2024-11-01' AND p.category = 'Electronics';

首先对products表按照商品类别进行预过滤,然后再执行连接操作。这样可以大大减少需要连接的数据量。

-- 用一个临时表做中间数据
WITH FilteredProducts AS (SELECTproduct_id,product_name FROMproducts WHEREcategory = 'Electronics'
)SELECTo.order_id,fp.product_name,o.order_date 
FROMorders oJOIN order_items oi ON o.order_id = oi.order_idJOIN FilteredProducts fp ON oi.product_id = fp.product_id 
WHEREo.order_date >= '2024-11-01';

分页:对于大型结果集,考虑使用分页技术来限制每次查询返回的行数。这对于前端展示大量数据尤其有用。

聚合:如果可能的话,在连接之前对数据进行聚合。这意味着可以在连接前就计算出统计信息,如SUM、COUNT等,从而减少连接操作的数据量。

示例:

场景描述:

假设有一个电子商务平台,其中有两个表——orders(订单表)和order_items(订单详情表)。orders表存储了每个订单的基本信息,而order_items表则记录了每个订单中购买的商品详情以及单价等信息。现在想要获取每个用户的总消费金额。

SELECTo.user_id,SUM( oi.quantity * oi.price ) AS total_spent 
FROMorders oJOIN order_items oi ON o.order_id = oi.order_id 
GROUP BYo.user_id;

首先在order_items表上根据order_id聚合出每个订单的总金额,然后再与orders表连接,并最终按用户ID分组计算总消费额:

WITH OrderTotals AS (SELECTorder_id,SUM( quantity * price ) AS order_total FROMorder_items GROUP BYorder_id
)SELECTo.user_id,SUM( ot.order_total ) AS total_spent 
FROMorders oJOIN OrderTotals ot ON o.order_id = ot.order_id 
GROUP BYo.user_id;

临时表或CTE(Common Table Expressions):有时将中间结果存储在临时表或使用公用表表达式(CTE)可以简化查询逻辑,并且允许你更早地应用过滤条件。

使用EXPLAIN分析查询计划:

通过EXPLAIN关键字查看MySQL如何执行查询,识别潜在问题。

EXPLAIN SELECT * FROM orders WHERE order_date > '2024-01-01';

3、缓存

大部分没有应用场景,命中率不高,消耗内存

利用缓存机制可以减少重复查询数据库的次数,降低负载。

查询缓存(Query Cache)

虽然MySQL 8.0版本之后官方已经移除了内置查询缓存功能,但在某些场景下仍可以通过第三方工具实现类似效果。

应用级缓存

在应用程序层面使用Redis、Memcached等内存存储来缓存频繁访问的数据。

4、硬件优化

硬件升级可以直接影响数据库性能。

**增加内存:**更多的RAM意味着更大的缓冲池(InnoDB Buffer Pool),从而减少磁盘I/O。

**SSD硬盘:**相比于传统HDD,固态硬盘(SSD)提供更快的读写速度,尤其适合随机访问模式。

**多核CPU:**对于高并发工作负载,多核心处理器能够更好地处理并发请求。

5、数据库参数调整

根据具体的使用场景调整MySQL配置参数,可以进一步提升性能。

innodb_buffer_pool_size:

设置InnoDB存储引擎使用的缓存大小,默认值通常是物理内存的70%-80%。

query_cache_size:

配置查询缓存(Query Cache)大小的参数,虽然MySQL 8.0后不再支持,但对于老版本,可以根据实际情况设置查询缓存大小。

max_connections:

根据预期的最大并发连接数调整最大连接数限制。

thread_cache_size:

设置线程缓存大小,以快速响应新连接。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/490942.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Liveweb视频汇聚平台支持WebRTC协议赋能H.265视频流畅传输

随着科技的飞速发展和网络技术的不断革新,视频监控已经广泛应用于社会各个领域,成为现代安全管理的重要组成部分。在视频监控领域,视频编码技术的选择尤为重要,它不仅关系到视频的质量,还直接影响到视频的传输效率和兼…

【超详细实战攻略】Jmeter逻辑控制器中if控制器、模块控制器、测试片段的使用方法

【超详细实战攻略】Jmeter逻辑控制器中if控制器、模块控制器、测试片段的使用方法 1 搭建测试对象1.1 禅道下载1.2 禅道安装1.3 运行禅道1.4 接口查看1.5 接口选择 2 Jmeter前置操作2.1 创建Jmeter线程组2.2 创建信息头管理器和请求默认值2.3 添加获取token接口2.4 添加监听器 …

我在广州学 Mysql 系列之 数据类型和运算符详解

ℹ️大家好,我是😆练小杰,今天主要学习 Mysql的数据类型以及运算符操作~~ 上周五学习了“Mysql 系列之 数据“表”的基本操作”~ 想要了解更多🈶️MYSQL 数据库的命令行总结!!! “我是你的敌人,…

如何高效获取Twitter数据:Apify平台上的推特数据采集解决方案

引言 在数据分析和市场研究领域,Twitter(现在的X)数据一直是重要的信息来源。但是,自从Twitter更改API定价策略后,获取数据的成本大幅提升。本文将介绍一个经济实惠的替代方案。 为什么需要Twitter数据? …

大模型学习笔记------SAM模型详解与思考

大模型学习笔记------SAM模型详解与思考 1、SAM框架概述2、Segment Anything Task3、Segment Anything Model SAM模型是Meta 提出的分割一切模型(Segment Anything Model,SAM)突破了分割界限,极大地促进了计算机视觉基础模型的发展…

Unity3D仿星露谷物语开发2之工程初始化

1、依赖包安装 进入【Window -> Package Manager】 安装如下插件: 1)Cinemachine 它是一套专门控制Unity Camera的模块,适用于各种游戏场景中物体的移动变化,解决了许多关于摄像机间的复杂控制,混合&#xff0c…

[论文阅读] |智能体长期记忆与反思

写在前面:10月份的时候,联发科天玑9400发布,搭载这款旗舰 5G 智能体 AI 芯片的荣耀MagicOS9.0实现了一句话让手机自动操作美团点咖啡。很快商场实体店里便能看到很多品牌手机已经升级为智能体语音助手。下一步,这些智能体或许便能…

数据结构之线性表1

2.1 线性表的定义和基本操作 1.线性结构的特点是:在数据元素的非空有限集中, (1)存在惟一的一个被称做“第一个”的数据元素; (2) 存在惟一的一个被称做“最后一个”的数据元素; &a…

【conda/cuda/cudnn/tensorrt】一份简洁的深度学习环境安装清单

🚀本文主要总结一下conda、cuda、cudnn、tensorrt的快速安装。至于nvidia显卡驱动的安装,暂且不提。本文适合有一定反复安装经验的读者😂,方便其快速整理安装思路。 NVIDIA Drivers 🌔01conda ⭐️ 注意,c…

拿到小米 Offer,却迷茫了。。

大家好,我是程序员鱼皮,12 月了,很多小伙伴也拿到了秋招的 Offer(没拿到也不要灰心),但即使拿到 Offer,可能还会有一些其他的顾虑。今天分享我们编程导航一位鱼友的提问,给大家作为学…

专业140+总分400+北京理工大学826信号处理导论考研经验北理工电子信息与通信工程,真题,大纲,参考书。

考研总分400,专业826信号处理导论(信号与系统和dsp)140,成功上岸北理工,虽然已经一段时间,但是后劲很大,每每回想还是昨日事,群里同学多次要求分享自己的一些经验,感谢大…

【CC2530开发基础篇】继电器模块使用

一、前言 1.1 开发背景 本实验通过使用CC2530单片机控制继电器的吸合与断开,深入了解单片机GPIO的配置与应用。继电器作为一种常见的电气控制元件,广泛用于自动化系统中,用于控制大功率负载的开关操作。在本实验中,将通过GPIO口…

geoserver(1) 发布sql 图层 支持自定义参数

前提使用postgis 数据库支持关联 join 支持 in,not in,like,及其他sql原生函数 新增sql图层 编写自定义sql 编辑sql语句必须输出带有geom数据 正则表达式去除 设置id以及坐标参考系 预览sql图层效果 拼接sql参数 http://xxx.com/geoserver/weather/wms?SERVICEWMS&VERSI…

docker login 出错 Error response from daemon

在自己的Linux服务器尝试登陆docker出错 输入完用户密码之后错误如下: 解决方案 1.打开daemo文件: vim/etc/docker/daemon.json 2.常用的国内Docker 镜像源地址 网易云 Docker 镜像:http://hub-mirror.c.163.com 百度云 Docker 镜像&#x…

aws(学习笔记第十七课) SQS Amazon Simple Queue Service服务

aws(学习笔记第十七课) SQS Amazon Simple Queue Service服务 学习内容: 使用SQS Amazon Simple Queue Service服务整体代码(nodejs的通常工程)代码动作 1. 使用SQS Amazon Simple Queue Service服务 利用应用程序来学习SQS 创建S3$ aws s…

OpenLinkSaas 2025年1月开发计划

先来看看OpenLinkSaas的大目标 在OpenLinkSaas的产品目标中,让开发人员更加方便的使用云资源是目标之一。通过各大云厂商的API,来可视化云上基础设施的数据是远远不够的。我们准备在2025年1月份增加方便管理和运营研发场景下服务器的能力。 这部分的功能…

6.1 初探MapReduce

MapReduce是一种分布式计算框架,用于处理大规模数据集。其核心思想是“分而治之”,通过Map阶段将任务分解为多个简单任务并行处理,然后在Reduce阶段汇总结果。MapReduce编程模型包括Map和Reduce两个阶段,数据来源和结果存储通常在…

上传文件时获取音视频文件时长和文本文件字数

获取音视频文件时长和文本文件字数 一、获取音视频文件时长二、计算文本文件字数 最近有个需求,要求上传文件时获取音视频文件时长和文本文件字数🐶。 发现这样的冷门资料不多,特做个记录。本文忽略文件上传功能,只封装核心的工具…

百度智能云千帆AppBuilder升级,百度AI搜索组件上线,RAG支持无限容量向量存储!

百度智能云千帆 AppBuilder 发版升级! 进一步降低开发门槛,落地大模型到应用的最后一公里。在千帆 AppBuilder 最新升级的 V1.1版本中,企业级 RAG 和 Agent 能力再度提升,同时组件生态与应用集成分发更加优化。 • 企业级 RAG&am…

SAP PP 错误转换字段 组件

错误转换字段 组件 原因: S/4 没有起用40位长度的物料 ,CONVERSION_EXIT_ALPHA_INPUT 转换成40位长度物料而 CONVERSION_EXIT_MATN1_INPUT 转换成18位长度物料 这样使得后续bom创建 找不到对应的40位物料 引起的组件文件 解决方案 18位长度物料 20241216 写…