切忌 SELECT *,就算表只有一列

原文地址

尽量避免 SELECT *,即使在单列表上也是如此 – 如果你现在不同意这一点,读完这篇文章,你可能就要动摇了。

2012年的一个故事

这是我 12 年前(约 2012-2013 年)在客户后台应用程序中遇到的一个真实故事。

当时,后端 API 一直稳定运行,速度仅为个位数毫秒。但突然有一天,应用程序变得非常迟钝。

我们检查了提交,没发现明显的问题,大部分改动都是良性的。即使恢复了所有提交(有人会懂,作这样无意义的尝试,就说明走投无路了),程序仍然很慢,API 响应时间从原先的几毫秒暴增到 500 毫秒至 2 秒不等。

鉴于后台没有导致速度变慢的变更,我们检查了数据库查询,发现 3 个具有超大文件的 blob 字段,它们表上的 SELECT * 正在返回到后台应用程序。

原来,这个表只有两个整数列,API 运行 SELECT * 来返回并使用这两个字段。但后来管理员添加了三个 blob 字段,由另一个应用程序使用和填充。这些 blob 字段没有返回给客户端,后端 API 却需要拉取其他应用程序填充的额外字段,造成数据库、网络和协议序列化开销。

数据库读取如何进行

在行存储数据库引擎中,行以「页面」为单位存储。每页有一个固定的页眉,包含多条记录;每条记录有一个记录页眉,后面跟着各自的列。例如 PostgreSQL 中的示例:

在这里插入图片描述

当数据库获取一个页面并将其放入共享缓冲池,我们就可以访问该页面中的所有行和列。如果内存中所有列都是现成的,那么 SELECT * 真的又慢又费钱吗?如果是,为什么会这样?以下将展开探讨这些问题。

跟仅索引扫描说拜拜

使用 SELECT * 意味着数据库优化器不能选择只扫描索引。

例如,假设需要 90 分以上学生的 ID,而成绩列上有一个索引包含作为非键的学生 ID,这个索引就非常适合查询。

但是由于需要所有字段,数据库需要访问堆数据页来获取剩余字段,从而增加了随机读取次数,进而增加 I/O。相对地,不使用 SELECT *,数据库只需扫描成绩索引并返回 ID 即可。

反序列化成本

反序列化或解码是将原始字节转换为数据类型。这包括获取字节序列(通常来自文件、网络通信等),并将其转换回结构化更强的数据格式,如编程语言中的对象或变量。

执行 SELECT * 查询时,数据库需要反序列化所有列,即使是特定使用情况下可能不需要的列。这会增加计算开销,降低查询性能。只选择必要的列,可以降低反序列化成本,提高查询效率。

并非所有列都是内联的

SELECT * 查询的一个重要问题是,并非所有列都存储在页面内。文本或 blob 等大型列可能存储在外部表中,只有请求时才会检索(例如 Postgres TOAST 表)。这些列通常都经过压缩,因此在执行包含大量文本字段、几何数据或 blob 的 SELECT * 查询时,会给数据库带来额外负担,即从外部表中获取值、解压缩并将结果返回给客户端。

网络成本

将查询结果发送到客户端前,必须根据数据库支持的通信协议对其序列化。需要序列化的数据越多,CPU 工作量越大。字节被序列化后通过 TCP/IP 传输,需要发送的段越多,传输成本越高,最终会影响网络延迟。

返回所有列可能需要反序列化字符串或 blob 等大列,即使客户可能永远不会使用这些列。

客户端反序列化

客户端收到原始字节后,应用程序必须将数据反序列化为客户端使用的任何语言,增加了整体处理时间。管道中的数据越多,这一过程就越慢。

不可预测性

即使只有一个字段,在客户端使用 SELECT * 也会带来不可预测性。

例如,对于含一到两个字段的表,程序会执行 SELECT * 快速处理两个整数字段;但是一旦添加 XML、JSON、blob 等新字段,它们就会被其他应用程序填充和使用。代码没有变化,但速度会突然变慢,因为现在程序要处理所有额外的字段。

代码搜索

显式 SELECT 的另一个优点是,可以在代码库中搜索正在使用的列,以防要重命名或删除某个列。这使得数据库 schema 变更(DDL)更加容易。

总结

总之,SELECT * 查询涉及许多复杂的过程,最好只选择需要的字段,以避免无谓的开销。如果表中的列很少,数据类型简单,SELECT * 查询的开销也许可以忽略不计;但一般来说,在查询中选择性地检索列是一种更好的做法。


💡 更多资讯,请关注 Bytebase 公号:Bytebase

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/505668.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DEV C++软件下载

一、进入网站 https://sourceforge.net/projects/orwelldevcpp/ 二、点击下载 三、安装步骤 1、点击 “OK” 2、点击“I agree” 3、点击“Next” 4、按步骤切换路径,本文选在D盘,可自行选取文件路径 5、等待安装 6、点击完成 7、选择语言 8、点击“N…

OpenBSD之安装指南

安装介质下载 OpenBSD的官网下载地址:https://www.openbsd.org/faq/faq4.html#Download,同时也是《OpenBSD FAQ - Installation Guide》。长篇大论了很多,每一个章节都能看懂是干嘛的,连起来就容易晕。并且是英文的,要…

Vue.config.productionTip = false 不起作用的问题及解决

文章目录 一、问题描述二、解决方法 一、问题描述 当我们在代码页面上引入Vue.js(开发版本)时,运行代码会出现以下提示,这句话的意思是:您正在开发模式下运行Vue,在进行生产部署时,请确保打开生产模式 You are runni…

C#,图论与图算法,输出无向图“欧拉路径”的弗勒里(Fleury Algorithm)算法和源程序

1 欧拉路径 欧拉路径是图中每一条边只访问一次的路径。欧拉回路是在同一顶点上开始和结束的欧拉路径。 这里展示一种输出欧拉路径或回路的算法。 以下是Fleury用于打印欧拉轨迹或循环的算法(源)。 1、确保图形有0个或2个奇数顶点。2、如果有0个奇数顶…

oracle闪回表

文章目录 闪回表案例1:(未清理回收站时的闪回表--成功)案例2(清理回收站时的闪回表--失败)案例3:彻底删除表(不经过回收站--失败)案例4:闪回表之后重新命名新表总结1、删…

CSS——22.静态伪类(伪类是选择不同元素状态)

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>静态伪类</title> </head><body><a href"#">我爱学习</a></body> </html>单击链接前的样式 左键单击&#xff08;且…

Java Spring Boot实现基于URL + IP访问频率限制

点击下载《Java Spring Boot实现基于URL IP访问频率限制(源代码)》 1. 引言 在现代 Web 应用中&#xff0c;接口被恶意刷新或暴力请求是一种常见的攻击手段。为了保护系统资源&#xff0c;防止服务器过载或服务不可用&#xff0c;需要对接口的访问频率进行限制。本文将介绍如…

数据结构(Java版)第七期:LinkedList与链表(二)

专栏&#xff1a;数据结构(Java版) 个人主页&#xff1a;手握风云 一、链表的实现&#xff08;补&#xff09; 接上一期&#xff0c;下面我们要实现删除所有值为key的元素&#xff0c;这时候有的老铁就会想用我们上一期中讲到的remove方法&#xff0c;循环使用remove方法&#…

C#Halcon找线封装

利用CreateMetrologyModel封装找线工具时&#xff0c;在后期实际应用调试时容易把检测极性搞混乱&#xff0c;造成检测偏差&#xff0c;基于此&#xff0c;此Demo增加画线后检测极性的指引&#xff0c;首先看一下效果 加载测试图片 画线 确定后指引效果 找线效果 修改显示 UI代…

ORB-SALM3配置流程及问题记录

目录 前言 一、OPB-SLAM3基本配置流程 1.下载编译Pangolin 二、ORB-SLAM3配置 1.下载源码 2.创建ROS工作空间并编译ORB-SLAM3-ROS源码 3.尝试编译 三、运行测试 一、OPB-SLAM3基本配置流程 ORB-SLAM3是一个支持视觉、视觉加惯导、混合地图的SLAM&#xff08;Simultane…

Unity2D初级背包设计后篇 拓展举例与不足分析

Unity2D初级背包设计中篇 MVC分层撰写(万字详解)-CSDN博客、 如果你已经搞懂了中篇&#xff0c;那么对这个背包的拓展将极为简单&#xff0c;我就在这里举个例子吧 目录 1.添加物品描述信息 2.拓展思路与不足分析 1.没有删除只有丢弃功能&#xff0c;所以可以添加垃圾桶 2.格…

领域驱动设计(DDD)——限界上下文(Bounded Context)详解

限界上下文&#xff08;Bounded Context&#xff09;在 DDD 中的定义 在领域驱动设计&#xff08;DDD&#xff09;中&#xff0c;限界上下文&#xff08;Bounded Context&#xff09;是一个核心概念。它定义了领域模型的边界&#xff0c;帮助我们将复杂的业务系统划分成多个相对…

语音机器人外呼的缺点

也许是因为经济形式变差&#xff0c;大部分都是消费降级的策略。企业也一样&#xff0c;开源不行就只能重点节流。以前10个人做的工作&#xff0c;希望能用2个语音机器人就能完成。确实语音机器人是可以大幅提升外呼效率的&#xff0c;节约成本也很明显&#xff0c;但是今天不说…

基类指针指向派生类对象,基类指针的首地址永远指向子类从基类继承的基类首地址

文章目录 基类指针指向派生类对象&#xff0c;基类指针的首地址永远指向子类从基类继承的基类起始地址。代码代码2 基类指针指向派生类对象&#xff0c;基类指针的首地址永远指向子类从基类继承的基类起始地址。 代码 #include <iostream> using namespace std;class b…

Jenkins pipeline 发送邮件及包含附件

Jenkins pipeline 发送邮件及包含附件 设置邮箱开启SMTP服务 此处适用163 邮箱 开启POP3/SMTP服务通过短信获取TOKEN &#xff08;保存TOKEN, 后面Jenkins会用到&#xff09; Jenkins 邮箱设置 安装 Build Timestamp插件 设置全局凭证 Dashboard -> Manage Jenkins …

如何在 Ubuntu 22.04 上安装 Caddy Web 服务器教程

简介 Caddy 是一个开源的 Web 服务器&#xff0c;它支持静态和现代 Web 应用程序&#xff0c;使用预定义的配置规则&#xff0c;并为所有链接的域名自动启用 HTTPS。Caddy 使用 GO 语言编写&#xff0c;提供了用户友好的配置指令&#xff0c;使你既可以将其用作 Web 服务器&am…

RocketMQ 和 Kafka 有什么区别?

目录 RocketMQ 是什么? RocketMQ 和 Kafka 的区别 在架构上做减法 简化协调节点 简化分区 Kafka 的底层存储 RocketMQ 的底层存储 简化备份模型 在功能上做加法 消息过滤 支持事务 加入延时队列 加入死信队列 消息回溯 总结 来源:面试官:RocketMQ 和 Kafka 有…

使用docker-compose安装Redis的主从+哨兵模式

必看 本文是一主二从一哨兵模式&#xff1b;其余的单机/集群/多哨兵模式的话&#xff0c;不在本文... 本文的环境主要是&#xff1a;应用app在本地&#xff0c;redis在云服务器上&#xff1b; 图解 图如下&#xff1a;这个图很重要&#xff1b; 之所以要这样画图&#xff0…

电脑提示directx错误导致玩不了游戏怎么办?dx出错的解决方法

想必大家都有过这样的崩溃瞬间&#xff1a;满心欢喜打开心仪的游戏&#xff0c;准备在虚拟世界里大杀四方或者畅游冒险&#xff0c;结果屏幕上突然弹出个 DirectX 错误的提示框&#xff0c;紧接着游戏闪退&#xff0c;一切美好戛然而止。DirectX 作为 Windows 系统下游戏运行的…

汽车基础软件AutoSAR自学攻略(三)-AutoSAR CP分层架构(2)

汽车基础软件AutoSAR自学攻略(三)-AutoSAR CP分层架构(2) 下面我们继续来介绍AutoSAR CP分层架构&#xff0c;下面的文字和图来自AutoSAR官网目前最新的标准R24-11的分层架构手册。该手册详细讲解了AutoSAR分层架构的设计&#xff0c;下面让我们来一起学习一下。 Introductio…