GaussDB(DWS)查询优化技术大揭秘

GaussDB(DWS)查询优化技术大揭秘

大数据时代，数据量呈爆发式增长，经常面临百亿、千亿数据查询场景，当数据仓库数据量较大、SQL语句执行效率低时，数据仓库性能会受到影响。本文将深入讲解在GaussDB(DWS)中如何进行表结构设计，如何进行SQL优化，如何查找慢SQL和高频SQL，提高数据仓库的性能和响应速度。

1.认识优化器

1.1 什么是优化器，优化器的作用是什么?

当前市场上的数据库产品，基本上都是基于CBO模型的优化器，因此统计信息的及时收集显得很重要

  • 基于规则的优化器(rbo，rule based optimizer)

基于硬编码的多组内置规则选取最优执行计划，比如优先使用唯一约束或主键来定位存储单元、优先使用Hash索引等等。它不考虑表大小、列大小、数据分布、排序占用的内存大小。优点:基于经验总结出来的一套规则，它的优点是执行计划稳定缺点:对开发者的SQL开发能力要求非常高，只有熟悉各种规则，才能写出优质的SQL。当表数据虽发生变化，原来的执行计划不是最优的时候，优化无法自动调整。

  • 基于成本的优化器(cbo，cost based optimizer)

该优化器通过根据优化规则对关系表达式进行转换，生成多个执行计划，然后CBO会通过根据统计信息(Statistics)和代价模型(Cost Model)计算各种可能“执行计划”的“代价”，即COST，从中选用COST最低的执行方案，作为实际运行方案。优点:可以自动适应表数据量变化，计算量发生变化，自动调节，选择较优的执行计划缺点: 依赖于COST计算模型重要的影响因子: 统计信息，需要给优化器提供准确的统计信息，才能做出好的执行计划。

1.2 SQL执行流程

image-20240114221431704

1.3 什么是执行计划

  • 执行计划是查询语句在数据库中执行过程的描述
  • 执行计划描述了SQL引擎为执行SQL语句进行的操作
  • 分析SQL语句相关的性能问题或仅仅质疑查询优化器的决定时，必须知道执行计划;所以执行计划常用于sgl调优

image-20240114221915701

1. 4执行计划怎么生成的

SQL + 表统计信息 =>优化器 => 最优执行计划

image-20240114221933023

1. 5什么是COST?

较各种操作代价时的相对性能指标
PostgresQL的查询优化是基于代价(Cost)的。代价是一个无量纲的值，它并不是一种绝对的性能指标，但可以作为比

  • 举个例子
全表顺序扫描并过滤，代价公式为:
Cost = seq scan cost*relpages + cpu tuple cost*reltuples + cpu operator cost*reltuples

COST计算的两个影响因素，其中数据库参数基本按实践值，一次修改长期不变;表的统计信息，要及时收集，以反映最真实的表数据状态

image-20240114222757145

image-20240114222901615

使用explain命令可以查看优化器为每个查询生成的具体执行计划

edw_db=#h explainCommand:EXPLAINDescription:show the execution plan of a statementsyntax :...] ) ] statement;EXPLAINoptionANALYSE 3 ][VERBOSE ]PERFORMANCE statement;EXPLAINANALYZEEXPLAINSTATS[ boolean ] ) statement;
where option can be:ANALYZE[boolean ]ANALYSEbooleanVERBOSEbooleanCOSTSbooleanCPUboolean]DETAIL[booleanNODESboolean]NUM_NODES[booleanBUFFERSbooTeanTIMINGbooleanPLAN [booleanFORMATTEXTXMLJSON YAML 3
  • INTO/CREATETABLE AS)详细的计划信息
    执行EXPLAIN VERBOSE命令，收集DML语句 (SELECT/UPDATE/INSERT/DELETE/MERGE
EXPLAIN VERBOSE
SELECT
sum(l extendedprice * (1 - l discount)) AS revenue
FROM orders
INNER JOIN lineitem ON l orderkey = o orderkey
o orderdate >=11994-01-01'::date AND o orderdate <1994-01-01'::date +WHEREinterval1 year';
  • INTO/CREATETABLEAS)详细的执行信息
    执行EXPLAIN PERFORMANCE命令，收集DML语句 (SELECT/UPDATE/NSERT/DELETE/MERGE
EXPLAIN PERFORMANCE
SELECT
sum(l extendedprice * (1 - l discount)) AS revenue
FROM orders
INNER JOIN lineitem ON l orderkey = o orderkey
WHERE o orderdate >= '1994-01-01'::date AND o orderdate < '994-01-01'::date + interval '1 year';

1.6 理解执行计划

执行计划阅读方法:

从最右缩进开始;从下往上逐步执行，算子后面的数字表示算子编号，左边表示外表，右边表示内表(如Hash Joim(3.8)，3号算子做为外表，8号算子做为内表);

算子运行时间=当前算子的a-time减去下层算子的a-time(如2号算子Hash Jomn(3.8= 25388-21483)

image-20240114223605665

1.7Explain 执行计划-算子介绍

1.7.1 扫描算子

功能:扫描算子的作用是扫描表，每次获取一条元组作为上层节点的输入。
扫描算子普遍存在于查询计划树的叶子节点，它不仅可以扫描表，还可以扫描函数的结果集、链表结构、子查询结果集等

1.7.2 连接算子

连接算子对应于关系代数中的连接操作，主要的几种连接类型如下:

image-20240114224236124

image-20240114224255685

1.7.3 Stream算子

功能: Streaming是一个特殊的算子，它实现了分布式架构的核心数据shuffle功能，Streaming共有三种形态，分别对应分布式结构下不同的数据shuffle功能

image-20240114224451145

1.7.4 物化算子

物化算子是一类可以缓存元组的节点
在执行计划中，很多扩展的物理操作符需要首先获取所有的元组才能进行操作(例如聚集函数操作、没有索引辅助的排序等)，这是要用物化算子将元组缓存起来

image-20240114224615912

1.8 总结

本节主要介绍通过Explain命令查看查询语句的执行计划的两种常用方法，并以示例的查询语句为例，详细介绍Explain Performance 命令收集到的各部分执行信息及SQL性能调优过程需要重点关注的信息。

2. 调优流程

  • 静态调优
    根据硬件资源和客户的业务特征确定集群部署方案，表定义。
    • 表定义:行列存、复制/哈希分布等0
    • 集群部署方案和表定义一旦确定，后续改动的代价会比较大
  • 执行态调优(动态调优)根据SQL语句执行的实际情况采取针对性干预SQL执行计划的方式来提升性能
    • SQL改写
    • GUC参数干预
    • Plan Hint

DWS逻辑架构

image-20240114231706155

  • 运维管理模块，提供日常运维、配置管理的管
    理接口、工具。
  • 集群管理模块，管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行
  • 协调节点，负责接收来自应用的访问请求并向客户端返回执行结果
    CN负责分解任务，并调度任务分片在各Data Node上并行执行
  • 全局事务控制器，负责生成和维护全局事务ID事务快照、时间戳等需要全局唯一的信息。
  • 工作负载管理器，控制系统资源的分配，防止过量业务负载对系统的冲击而导致业务拥寒和系统崩溃。
  • 数据节点，负责存储业务数据(支持行存、列存、混合存储)、执行数据查询任务以及向CN返回执行结果
    服务器的本地存储资源，持久化存储数据

全并行架构，发挥系统极致性能

核心问题:
x86 PC Server集群架构下，单核处理能力有限，如何利用x86多核计算资源，提升集群处理性能:华为鳃鹏众核架构下，如何解决众核、Numa架构资源利用问题;

image-20240114231825679

2.1 分布式优化技术，大幅提升分布式执行性能

核心问题:分布式架构下，单机优化方法无法保证最优计划的生成

问题一: 单机SQL逻辑无法完全实现分布式执行？

image-20240114233607010

核心技术:

  • 30+查询重写技术，10+项分布式查询重写，在分布式场景下消除NestLoop和子查询等瓶颈运算
  • 查询重写相关专利4篇

问题二: 单机统计信息不能全面反应分布式数据特征

image-20240114233634471

核心技术:

  • 单机+全局统计信息收集、自动统计信息收集技
  • 基于Poisson的估算模型、全局/单点cost估算模型
  • Local+Global结合的数据处理估算模型

问题三: 数据倾斜会造成分布式执行木桶效应

image-20240114233654710

核心技术:

  • 静态模型:分布式倾斜估算模型
  • 动态模型:RLBT(Runtime Load BalanceTechnology)动态倾斜处理方案

2.2 如何查找待优化SQL

基于topSQL的慢SQL识别

topSQL记录了查询作业运行结束时的资源使用情况(包括内存、下盘、CPU时间、IO等)和运行状态信息(包括报错、终止，异学等)以及性能告警信息

image-20240114235327846

SELECTqueryid,start timeduration,--执行时间warning，--SQL自诊断信息query--SQL语句queryplan--SQL语句简单的explainFROM pgxc wlm session infoWHERE username =edw poc’-- 用户
AND dbname =pluat'-- 数据库AND duration>10000-- 长SQL值，单位msAND start time BETWEEN now0 AND (now0 -interva/ 1 days --SQL时间段ORDER BYduration DESC-- 按照执行时长倒序输出LIMIT100:-- top100

高频SOL: SELECTunique sl id.count() FROM pgxc wlm session imfo WHERE start time >='2023-04-20 15:00:00' and stat time <=2023-04-20 18:00:00GROUPBYunique sql id ORDER BY 2 desc;
CPUSOL: SELECT start time.finish time.block time.usemame.duration.status.abort infosubstr(query.1.100) FROMpgxc wlm session info WHERE start time >=(now0 - interval '1 daty) ORDER BY ax cpu time desc;
不下推SOL:
SELECT start timefinish time,block timeusenameduration.status,abot infosubstr(query,1.100) FROMpgxc wlm session imfo WHERE start time >=(now0 - interval "1 daty) and waming like "%can not be shipped%' ORDER BY duration desc:
复杂SOL:
SELECT nodenamestart time.duration.substring(guery .1.40) as query name.(leneth(query plan) -length(replace(query plan.Streaming,"))/ length(Streaming) as stream count FROM pgxc wlm session info WHERE stream count >= 10 and stat time >= (now0interval '1 day) ORDER BY stream count DESC:
历史SQL: 
SELECT start time.duraton.block time.statusspil info.abort info FROMpgxc wlm session imfo WHERE start time between'2023-08-01'and2023-08-08ORDERBYduration DESC

2.3 静态调优

2.3.1审视和修改表定义

  • 集群部署有SA协助规划，只关注表定义创建策略

  • 数据分布在DN上，好的表定义要求

    • 表数据均匀分布在各个DN口
      防止单个DN数据过多导致集群有效容量下降
    • 表Scan压力均匀分散在各个DN避免单DN的Scan压力过大，形成Scan的单节点瓶颈
    • 减少扫描数据量:通过分区机制实现
    • 尽量减少随机IO:通过聚族/局部聚族可以实现这
    • 减小网络压力

    image-20240114235737326

2.3.2选择存储类型
  • 存储类型的重要性
    • 存储类型决定存储格式，进而影响I/O操作行为
    • 客户业务属性决定表的存储类型
  • 行列存选择依据

image-20240114235922018

2.3.3 分布列-简述
  • 复制(Replication)
    • 集群中每个DN实例上都有一份全量表数据
    • Join操作可减小重分布造成的网络开销
    • 存在数据冗余
    • 适用于小表、维表
  • 哈希(Hash)-- 8.1.3之前默认分布方式
    • 数据通过Hash方式散列到集群的所有DN实例
    • 读写数据可充分利用各个节点O资源，提升读写速度
    • 适用于数据量大的表
  • 轮询(RoundRobin)-- 8.1.3开始之后默认分布方式
    • 数据通过轮询方式发放到集群内所有DN实例
    • 读写数据可充分利用各个节点IO资源，提升读写速度
    • 适用于数据量大的表，且各列都有严重倾斜的表

image-20240115000528462

2.3.4 分布列- 选取原则
  • 选择分布列的基本原则
    • 各个DN列值应比较离散，以便数据能够均匀分布到通常选择表的主键为分布列
      示例:人员信息表，选择身份证号作为分布列
    • 尽量不要选取存在常量等值过滤条件，避免DN剪枝后Scan集中到一个DNcjk的列zqdh 存在常量的约束(例如zqdh=000001)，
    • 示例:如果表dwcjk相关查询中经常出现不用zqdh做分布列
    • 选择查询中的连接条件为分布列，以便Join能够推到DN中执行，且减少DN间的通信数据量布方式，无法确定时可以选择roundbobin分布
    • 根据上述原则尽量根据业务特征选择hash分布
2.3.5 分布列-倾斜分析和分布调整

  • 判断数据是否存在存储倾斜的方法: table distribution函数

    • 不同DN的数据量:相差5%以上即可视为倾斜:相差10%以上建议调整分布列

    image-20240115001225108

  • 在线判定列是否倾斜: table skewness函数

image-20240115001341226

2.3.6 选择分布列 典型案例

  • 常见场景

    • a)原始表定义存在数据倾斜，需要通过调整分布列达到数据分区均衡的目标
    • b)把表分布列修改为关联列，达到性能加速的目的
    SELECT
count(distinctc custkey)FROM customerWHERE c custkey IN (SELECT DISTINCT o custkeyFROM orders custkey     #原orders表的分布列为订单号o orderkeyorders custkey表为调整分布列为客户编号o custkeyALTER TABLE orders DISTRIBUTE BY HASH(o custkey)

    image-20240115001509781

2.3.7 局部聚族-简述
  • 局部聚族(Partial Cluster Key,简称PCK)
    • 列存储下一种通过min/max稀疏索引实现基表快速扫描的一种索引技术
  • 适用场景
    • 业务特征:大表大批量数据导入，每次导入数据量远大于DN数*6W
    • 基表存在大量形如col op Const约束，其中col为列名，const为常量值，op为操作符 =、>、>=
    • 选用选择度比较高的简单表达式的列上建pck
  • 使用约束
    • 列存表，一个表只能创建一个PCK
    • 适用数据类型有整型、时间类型、字符串类型
    • 对于字符串类型，如果当前库的collate不为C，则只对表达式col=Const起大加速查询的效果
  • 使用方法
    • 创建表时指定PCK约束，或者ALTER TABLE语法增加PCK约束(只对后续导入数据生效)
2.3.8 局部聚簇- 优化原理

优化原理:入库时候进行局部排序换查询性能

image-20240115001826634

2.3.9 局部聚族-典型案例

image-20240115001926245

image-20240115001932423

2.4 总结

本节主要从表定义角度，介绍静态调优的几种常用方法，从而指导用户根据业务场景正确选择表的存储类型、分布方式和分布列，合理使用局部聚簇、分区表来设计和定义表，提高SQL语句的查询性能

3. 动态调优

3.1 概述

  • 概述

动态调优，即执行态调优，是一个不断分析与尝试的过程

首先，试跑Query;然后，判断性能是否满足客户需求;如果不满足客户需求，则需要进一步分析性能瓶颈点获取性能瓶颈点之后进行针对性优化，重新试跑，一直到满足性能目标。

  • 基本步骤
    判断查询相关表是否已收集统计信息
    判断查询语句是否下推
    收集Perfromance信息进行性能分析，并做针对性优化
    SQL改写优化

image-20240115002311312

3.2动态调优

3.2.1 统计信息-简述

  • 可用的统计信息有哪些?

    • 统计信息(表数据特征)

      • 表的元组数、字段宽度、NULL记录比率、DISTINCT值、MCV值(Most CommonValue)HB
      • 值(直方图，数据分布概率区间)

    • 优化器 (基于代价的优化(Cost-Based Optimization，简称CBO

      • 数据库根据大量表数据特征，结合代价计算模型，通过代价估算输出估算的最优执行计划
      • 统计信息是查询优化的核心输入，准确的统计信息可以帮助优化器选择最合适的查询计划

  • 统计信息如何收集?

    • 使用ANALYZE语法收集整个表或表的若干列的统计信息

  • 如何操作

    • 大批量数据导入/更新/删除之后及时analyze
3.2.2统计信息-典型案例

  • 收集统计信息前后执行计划对比分析

    • E-rows:

    没有收集统计信息的计划中，估计值E-rows比实际值小

    • 执行计划:

    没有收集统计信息的计划中，出现两个低效的Nest Loop算子

    • 示例:

      查询所有供货商在1994年1月1日起的1年间为公司带来的总收入

SELECT
sum(l extendedprice * (1 - l discount)) AS revenueFROM customer, orders， lineitem, supplierWHERE c custkey = o custkeyAND l orderkey = o orderkeyAND I suppkey = s suppkeyAND o orderdate >=1994-01-01'::dateAND o orderdate <11994-01-01'::date + interval '1 year'

image-20240115002822721

3.2.3 不下推分析 -计划类型

  • 并行计算能力是GaussDB(DWS)的性能优势

  • 优化器在分布式框架下有三种执行规划策

    • 下推语句计划

      CN发送查询语句到DN直接执行，执行结果返回给CN

    • 分布式计划

      CN生成计划树，发送计划树给DN执行
      DN执行完后，将结果返回给CN

    • 不下推计划: CN承载大量计算任务，导致性能劣化!

    优化器将部分查询(多为基表扫描语句)

  • 常见的不下推因素

    • 含有shippable属性为false的函数的语句不下推
3.2.4 不下推分析-函数易变属性
  • 函数下推行为的分析
    • 函数的易变属性可分为三种，在创建函数时如果不指定函数易变属性，默认为VOLATILE
      • IMMUTABLE: 相同的入参值，总是返回相同的结果。如，pg catalog.trunc(numeric)
      • STABLE:相同的入参值，同一次表扫描中，函数返回值不变，但在不同SQL语句中函数返回值可能发生变化。
      • VOLATILE:相同的入参值，函数值随时可能返回不同的结果，即便是同在一次表扫描内
    • 函数定义时可指定函数下推属性为SHIPPABLE，默认为NOT SHIPPABLE，即调用函数的SQL语句不下推。
    • 函数的下推行为由其易变属性和下推属性共同决定

image-20240115003343191

image-20240115003348387

3.2.5 Performance分析
  • Explain Performance: 收集Query的执行信息+分析可能的性能问题+针对性优化
  • 重点关注:耗时占整体执行时间高的算子
  • 重要执行信息: DataNode lnformation、Memory Information、Targetlist Information
  • 常见算子的瓶颈及优化策略
    • Scan性能瓶颈
      • 基表扫描元组数过多: 增加索引、使用PCK、使用分区
      • 数据在各个DN分布不均衡: 调整分布列方式
    • Join性能瓶颈
      • Join方式选择不当: 增加索引、使用Plan Hint
      • Join内外表选择不当: 使用PIanHint、改写SQL
3.2.6 Scan性能优化
  • Scan性能提升策略
    • 减少实际IO
      • 标准点查场景: 增加索引; 使用PCK(列存表

image-20240115003700009

3.2.7 Join性能优化- Join类型

表连接(Join): 根据特定规则从两个其他表(真实表或生成表)中派生出结果集

join语法

T1 Join type T2 [join condition]

join类型

语法层支持: 内连接(lnner Join)、外连接(Outer Jin) 和交叉连接(或笛卡尔积，CrossJoin)

T1( [INNER]
T1
[INNER]
TI NATURAL
( LEFT
RIGHT
( LEFT I RIGHT
[INNER]
( LEET
FULL
FULL 1
RIGHT
[OUTER1
[OUTER]
JOINT2ON boolean expression
T2USING ( join column list )
JOIN
FULL 1
OUTER] JOIN T2

3.2.8 Join性能优化-优化策略

策略1:选择高效的Join方式

改写SQL实现HashJoin
优化策略: 尝试将不等值Join条件转化为等值Join条件

image-20240115003915653

策略2:选择合适的内外表

HashJoin:内表小，外表大，执行高效!
使用Plan Hint调整内外表顺序

image-20240115003952617

3.3 总结

本节简要介绍动态调优的基本流程，常用的统计信息及其收集方法，如何根据执行信息分析SQL语句的性能瓶颈，并着重介绍因计划不下推造成性能问题的典型场景码优化等收

4. 总结

在大数据时代，数据量剧增，查询效率成为关键。

GaussDBDWS作为高效的数据仓库解决方案，其查询优化技术是核心。首先，优化器是数据库查询优化的核心组件，分为基于规则的优化器和基于成本的优化器。前者根据硬编码规则选取最优执行计划，稳定但要求高；后者则依赖统计信息和代价模型，能自动适应数据变化，选择最优执行计划。其次，执行计划是查询执行过程的描述，用于分析和调优。最后，调优技术包括静态和动态调优，前者针对已知问题优化，后者则实时调整。此外，分布式优化技术也能大幅提升分布式执行性能。

总之，要提高GaussDBDWS的数据仓库性能和响应速度，需关注表结构设计、SQL优化、慢SQL和高频SQL查找等关键环节。准确统计信息是优化器做出好决策的前提。深入理解执行计划和优化器原理，结合实际场景灵活运用调优技术，是提升大数据查询效率的关键。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/240517.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

uni-app 经验分享，从入门到离职（年度实战总结:经验篇）——上传图片以及小程序隐私保护指引设置

uni-app 经验分享，从入门到离职（年度实战总结:经验篇）——上传图片以及小程序隐私保护指引设置

文章目录 &#x1f525;年度征文&#x1f4cb;前言⏬关于专栏 &#x1f3af;关于上传图片需求&#x1f3af;前置知识点和示例代码&#x1f9e9;uni.chooseImage()&#x1f9e9;uni.chooseMedia()&#x1f4cc;uni.chooseImage() 与 uni.chooseMedia() &#x1f9e9;uni.chooseF…
阅读更多...
5D动感影院新奇体验丰富环境特效7D互动影院

5D动感影院新奇体验丰富环境特效7D互动影院

5D动感影院太火啦&#xff01;凭借真实互动感、全视景高清屏幕、立体环绕音效、D打造新颖沉浸式观影体验&#xff0c;成为年轻人/家长/小朋友的新晋打卡聚集地&#xff0c;时刻上演着精彩绝伦的视觉盛宴&#xff01; 1、5D动感影院【硬件组成】&#xff1a;动感平台、金属银幕、…
阅读更多...
Alinx ZYNQ 7020 LED调试--in RAM

Alinx ZYNQ 7020 LED调试--in RAM

设置拨码开关为JTAG方式 烧写LED bit stream a. 点击“Program device”烧录程序到FPGA中&#xff08;重新上电程序就丢失了&#xff09; b. /01_led/led.runs/impl_1/led.bit 程序烧录到Flash中 ZYNQ与以往的直接烧录Flash不同&#xff0c;首先必须PS&#xff0c;然后烧…
阅读更多...
PXE和kickstart无人值守安装

PXE和kickstart无人值守安装

PXE高效批量网络装机 引言 1.系统装机的引导方式 启动 操作 系统 1.硬盘 2.光驱&#xff08;u盘&#xff09; 3.网络启动 pxe 重装系统&#xff1f; 在已有操作系统 新到货了一台服务器&#xff0c; 装操作系统 系统镜像 u盘 光盘 pe&#xff1a; 小型的 操作系统 在操…
阅读更多...
HTTP/HTTPS代理IP在多线程爬虫项目中的实践

HTTP/HTTPS代理IP在多线程爬虫项目中的实践

在多线程爬虫项目中&#xff0c;HTTP/HTTPS代理IP的实践主要包括以下几个关键步骤&#xff1a; 1. 收集代理IP资源&#xff1a; - 从免费或付费代理IP提供商、公开代理列表网站&#xff08;如西刺代理、无忧代理等&#xff09;抓取代理IP和端口信息。 - 存储这些IP到数据库或者…
阅读更多...
统计学-R语言-5.3

统计学-R语言-5.3

文章目录 前言分位数统计量的标准误总结 前言 本篇文章即为概率与分布的最后一篇文章。 分位数 分位数函数是累积分布函数的反函数。 p-分位数是具有这样性质的一个值&#xff1a;小于或等于它的概率为p。 根据定义&#xff0c;中位数即50%分位数。 分位数通常用于置信区间的…
阅读更多...
RT-Thread 15. list_timer与软定时器

RT-Thread 15. list_timer与软定时器

1. 代码 void rt_thread_usr1_entry(void *parameter) {/* set LED2 pin mode to output */rt_pin_mode(LED2_PIN, PIN_MODE_OUTPUT);while (1){rt_pin_write(LED2_PIN, PIN_HIGH);rt_thread_mdelay(2000);rt_pin_write(LED2_PIN, PIN_LOW);rt_thread_mdelay(3000);} }int ma…
阅读更多...
前端公共组件库优化

前端公共组件库优化

背景 前段时间入职了新公司后&#xff0c;做一些内部前端基建的工作&#xff0c;其中一个工作就是优化现有的frontend-common公共组件库。之前的组件库一直是以源码依赖的形式存在&#xff0c;即各个项目通过git submodule的方式将该仓库引入到各个项目中&#xff0c;作为一个…
阅读更多...
【K8S 云原生】K8S的对外服务—ingress

【K8S 云原生】K8S的对外服务—ingress

目录 一、K8S的Service 1、Service的作用 2、Service类型&#xff1a; 二、ingress 1、ingress的组成&#xff1a; 2、ingress资源的定义项&#xff1a; 3、ingress暴露服务端的方式 3.1、DeploymentLoadBalancer模式&#xff1a; 1、工作流程图&#xff1a; 3.2、Dae…
阅读更多...
PDF转PowerPoint - Java实现方法

PDF转PowerPoint - Java实现方法

通过编程实现PDF转PPT的功能&#xff0c;可以自动化转换过程&#xff0c;减少手动操作的工作量&#xff0c;并根据需要进行批量转换。将PDF文件转换为PPT文档后&#xff0c;可以利用PPT的丰富功能和动画效果&#xff0c;达到更好的演示效果。 在Java中&#xff0c;我们可以使用…
阅读更多...
PyTorch损失函数（二）

PyTorch损失函数（二）

损失函数 5、nn.L1Loss nn.L1Loss是一个用于计算输入和目标之间差异的损失函数&#xff0c;它计算输入和目标之间的绝对值差异。 主要参数&#xff1a; reduction&#xff1a;计算模式&#xff0c;可以是none、sum或mean。 none&#xff1a;逐个元素计算损失&#xff0c;返…
阅读更多...
清晰光谱空间：全自动可调波长系统的高光谱成像优势

清晰光谱空间：全自动可调波长系统的高光谱成像优势

高光谱成像技术 高光谱成像技术是一种捕获和分析宽波长信息的技术&#xff0c;能够对材料和特征进行详细的光谱分析和识别。高光谱成像技术的实现通过高光谱相机&#xff0c;其工作原理是使用多个光学传感器或光学滤波器分离不同波长的光&#xff0c;并捕获每个波段的图像&…
阅读更多...
Node+Express编写接口---服务端

Node+Express编写接口---服务端

开始&#xff1a; 个人兴趣爱好&#xff0c;欢迎大家多多指教&#xff01;(点击直达源码!) node_vue_admin: 第一个以node为后端,vue为前端的后台管理项目https://gitee.com/ah-ah-bao/node_vue_admin.git 第一步:安装 安装Node.js 点击直达Node.js (nodejs.org) 安装Navic…
阅读更多...
点赞模块设计 - Redis缓存 + 定时写入数据库实现高性能点赞功能

点赞模块设计 - Redis缓存 + 定时写入数据库实现高性能点赞功能

点赞模块设计 - Redis缓存 定时写入数据库实现高性能点赞功能 源码地址&#xff1a;github.com/cachecats/c… 点赞是作为整个系统的一个小模块&#xff0c;代码在 user-service 用户服务下。 本文基于 SpringCloud, 用户发起点赞、取消点赞后先存入 Redis 中&#xff0c;再…
阅读更多...
WordPress回收站自动清空时间？如何关闭回收站或设置自动清理天数？

WordPress回收站自动清空时间？如何关闭回收站或设置自动清理天数？

我们在WordPress后台的文章、页面、评论等页面都可以看到有回收站&#xff0c;意思就是我们不能直接删除某篇文章、页面、评论&#xff0c;而是需要现将它们移至回收站&#xff0c;然后再到回收站永久删除&#xff0c;或等回收站自动清理。 如上图所示&#xff0c;WordPress 6.…
阅读更多...
javacv和opencv对图文视频编辑-裸眼3D图片制作

javacv和opencv对图文视频编辑-裸眼3D图片制作

通过斗鸡眼&#xff0c;将左右两张相似的图片叠加到一起看&#xff0c;就会有3D效果。 3D图片&#xff0c;3D眼镜&#xff0c;3D视频等原理类似&#xff0c;都是通过两眼视觉差引起脑补产生3D效果。 图片&#xff1a; 图片来源&#xff1a; 一些我拍摄的真*裸眼3D照片 - 哔哩…
阅读更多...
Java21 + SpringBoot3集成Spring Data JPA

Java21 + SpringBoot3集成Spring Data JPA

Java21 SpringBoot3集成Spring Data JPA 文章目录 Java21 SpringBoot3集成Spring Data JPA前言相关技术简介ORM&#xff08;Object-Relational Mapping&#xff0c;对象-关系映射&#xff09;JPA&#xff08;Java Persistence API&#xff0c;Java持久层API&#xff09;Hiber…
阅读更多...
新版K8s:v1.28拉取Harbor仓库镜像以及本地镜像（docker弃用改用containerd，纯纯踩坑）

新版K8s:v1.28拉取Harbor仓库镜像以及本地镜像（docker弃用改用containerd，纯纯踩坑）

目录 一、项目概述二、环境三、项目样式Harborkuboard运行样式 四、核心点Harbor安装config.toml文件修改(containerd)ctr、nerdctl相关命令kuboard工作负载 五、总结 一、项目概述 使用Kuboard作为k8s集群的管理平台&#xff0c;Harbor作为镜像仓库&#xff0c;拉取Harbor镜像…
阅读更多...
【kafka】记录用-----------1

【kafka】记录用-----------1

主题&#xff08;topic&#xff09;&#xff1a;消息的第一次分类 根据人为的划分条件将消息分成不同的主题 主题的划分是人为的根据不同的任务情景去划分 比如&#xff0c;我们有两个主题&#xff0c;一个是"订单"&#xff0c;另一个是"库存"。每个主题代…
阅读更多...
24号资源——程序：电力系统程序集合已提供下载资源

24号资源——程序：电力系统程序集合已提供下载资源

24号资源&#xff1a;程序集合包含17个程序&#xff08;经典电力系统经济调度程序&#xff1b;2解决带储&#xff1b;3智能微电网PSO优化算法&#xff1b;微电网调度等等见资源描述&#xff09;资源-CSDN文库https://download.csdn.net/download/LIANG674027206/88752141&#…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023