Ceph RBD使用

CephRBD使用

  • 一、RBD架构说明
  • 二、RBD相关操作
      • 1、创建存储池
      • 2、创建img镜像
          • 2.1 创建镜像
          • 2.1.2 查看镜像详细信息
          • 2.1.3 镜像其他特性
          • 2.1.4 镜像特性的启用和禁用
      • 3、配置客户端使用RBD
          • 3.1 客户端配置yum源
          • 3.2 客户端使用admin用户挂载并使用RBD
            • 3.2.1 同步admin账号认证文件
            • 3.2.2 客户端映射
          • 3.3 客户端使用普通用户挂载并使用RBD
            • 3.3.1 创建普通用户并授权
            • 3.3.2 安装ceph客户端
            • 3.3.3 同步普通用户认证文件
            • 3.3.4 验证权限
            • 3.3.5 映射rbd
            • 3.3.6 客户端验证
            • 3.3.7 删除数据
          • 3.4 rbd进行空间拉伸
          • 3.5 卸载和删除rbd镜像
          • 3.6 rbd镜像回收站机制
      • 4、镜像快照
          • 4.1 客户端当前数据
          • 4.2 创建并验证快照
          • 4.3 删除数据并还原数据
          • 4.4 客户端验证数据
          • 4.5 删除快照
          • 4.6 快照数量限制

一、RBD架构说明

Ceph可以同时提供RADOSGW(对象存储网关)、RBD(块存储)、CephFS(文件存储),RBD就是RADOS Block Device的简称,RBD块存储是常用的存储类型之一,RBD块设备类似磁盘可以被挂载,RBD块设备具有快照、多副本、克隆和一致性等特性,数据以条带化的方式存储在Ceph集群的多个OSD中。

条带化技术就是一种自动的将 I/O 的负载均衡到多个物理磁盘上的技术,条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突,而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的 I/O 并行能力,从而获得非常好的性能。

在这里插入图片描述

RBD存储流程:

写操作:

  1. 客户端请求:客户端通过RBD接口向Ceph集群发出写操作请求。
  2. 数据分布计算:客户端通过CRUSH算法计算数据需要写入的OSD
  3. 写入数据:客户端将数据写入到计算出的OSD上,并且根据配置将数据复制到其他OSD,实现数据高可用。
  4. 确认写入:所有OSD数据写入完成,客户端收到成功响应。

读操作

  1. 客户端请求: 客户端通过 RBD 接口向 Ceph 集群发出读操作请求。
  2. 数据位置计算: 客户端通过 CRUSH 算法计算数据所在的 OSD。
  3. 读取数据: 客户端从计算出的 OSD 上读取数据。
  4. 返回数据: OSD 将数据返回给客户端。

二、RBD相关操作

1、创建存储池

#创建存储池:
cephadmin@ceph-deploy:~/ceph-cluster$ ceph osd pool create rbd-k8s1 128 128 
pool 'rbd-k8s1' created# 验证存储池
cephadmin@ceph-deploy:~/ceph-cluster$ ceph osd pool ls 
.mgr
myrbd1
.rgw.root
default.rgw.log
default.rgw.control
default.rgw.meta
cephfs-metadata
cephfs-data
mypool
rbd-k8s1#在存储池启用rbd:
cephadmin@ceph-deploy:~/ceph-cluster$ ceph osd pool application enable rbd-k8s1 rbd 
enabled application 'rbd' on pool 'rbd-k8s1'# 初始化rbd:
cephadmin@ceph-deploy:~/ceph-cluster$ rbd pool init -p rbd-k8s1 

命令详解:
1、ceph osd pool create rbd-k8s1 128 128
这是 ceph 命令行工具用于管理对象存储设备(OSD)池的子命令。pool 是一个逻辑存储分区,可以包含大量的对象,用于组织和管理存储数据。
rbd-data1:新创建的存储池名称。
32 32:

  • 前面的数字代表pg:表示创建池时将其划分为多少个放置组(PG)。每一个pg是一个逻辑分区,用于组织对象数据,并且数据在集群中的OSD上分布和复制都是以PG为单位进行。
  • 后面的数字用于放置对象数据的PG数量。通常在池创建时,PG和PGP是相同的

2、ceph osd pool application enable rbd-k8s1 rbd
这个命令用于在 Ceph 集群中启用特定应用程序(如 RBD)对某个存储池的访问权限。

2、创建img镜像

rbd 存储池并不能直接用于块设备,而是需要事先在其中按需创建映像(image),并把映像文件作为块设备使用。rbd 命令可用于创建、查看及删除块设备相在的映像(image),以及克隆映像、创建快照、将映像回滚到快照和查看快照等管理操作。例如,下面的命令能够在指定的 RBD 即 rbd-k8s1 创建一个名为 k8s-image1 的映像:

2.1 创建镜像
# 创建两镜像
cephadmin@ceph-deploy:~/ceph-cluster$ rbd create data-image-k8s1 --size 20G --pool rbd-k8s1 --image-format 2 --image-feature layering 
cephadmin@ceph-deploy:~/ceph-cluster$ 
cephadmin@ceph-deploy:~/ceph-cluster$ rbd create data-image-k8s2 --size 20G --pool rbd-k8s1 --image-format 2 --image-feature layering 
# 验证镜像
cephadmin@ceph-deploy:~/ceph-cluster$ rbd ls --pool rbd-k8s1
data-image-k8s1
data-image-k8s2
cephadmin@ceph-deploy:~/ceph-cluster$ rbd ls --pool rbd-k8s1 -l
NAME             SIZE    PARENT  FMT  PROT  LOCK
data-image-k8s1  20 GiB            2            
data-image-k8s2  20 GiB            2        
2.1.2 查看镜像详细信息
cephadmin@ceph-deploy:~/ceph-cluster$ rbd --image data-image-k8s1 --pool rbd-k8s1 info
rbd image 'data-image-k8s1':size 20 GiB in 5120 objectsorder 22 (4 MiB objects)snapshot_count: 0id: b1eb383b76b7block_name_prefix: rbd_data.b1eb383b76b7format: 2features: layeringop_features: flags: create_timestamp: Mon Sep  2 16:49:42 2024access_timestamp: Mon Sep  2 16:49:42 2024modify_timestamp: Mon Sep  2 16:49:42 2024
cephadmin@ceph-deploy:~/ceph-cluster$ 
cephadmin@ceph-deploy:~/ceph-cluster$ rbd --image data-image-k8s2 --pool rbd-k8s1 info
rbd image 'data-image-k8s2':size 20 GiB in 5120 objectsorder 22 (4 MiB objects)snapshot_count: 0id: b1f1b39acb7fblock_name_prefix: rbd_data.b1f1b39acb7fformat: 2features: layeringop_features: flags: create_timestamp: Mon Sep  2 16:49:55 2024access_timestamp: Mon Sep  2 16:49:55 2024modify_timestamp: Mon Sep  2 16:49:55 2024

以json格式显示镜像信息

cephadmin@ceph-deploy:~/ceph-cluster$ rbd ls --pool rbd-k8s1 -l --format json --pretty-format
[{"image": "data-image-k8s1","id": "b1eb383b76b7","size": 21474836480,"format": 2},{"image": "data-image-k8s2","id": "b1f1b39acb7f","size": 21474836480,"format": 2}
]
2.1.3 镜像其他特性

#特性简介

  • layering: 支持镜像分层快照特性,用于快照及写时复制,可以对 image 创建快照并保护,然后从快照克隆出新的 image
    出来,父子 image 之间采用 COW 技术,共享对象数据。
  • striping: 支持条带化 v2,类似 raid 0,只不过在 ceph 环境中的数据被分散到不同的对象中,可改善顺序读写场景较多情况下的性能。
  • exclusive-lock: 支持独占锁,限制一个镜像只能被一个客户端使用。
  • object-map: 支持对象映射(依赖 exclusive-lock),加速数据导入导出及已用空间统计等,此特性开启的时候,会记录 image 所有对象的一个位图,用以标记对象是否真的存在,在一些场景下可以加速 io。
  • fast-diff: 快速计算镜像与快照数据差异对比(依赖 object-map)。
  • deep-flatten: 支持快照扁平化操作,用于快照管理时解决快照依赖关系等。
  • journaling: 修改数据是否记录日志,该特性可以通过记录日志并通过日志恢复数据(依赖独占锁),开启此特性会增加系统磁盘 IO 使用。

jewel 默认开启的特性包括: layering/exlcusive lock/object map/fast diff/deep flatten

2.1.4 镜像特性的启用和禁用

启用:

#启用指定存储池中的指定镜像的特性:
$ rbd feature enable exclusive-lock --pool rbd-data1 --image data-img1
$ rbd feature enable object-map --pool rbd-data1 --image data-img1
$ rbd feature enable fast-diff --pool rbd-data1 --image data-img1
#验证镜像特性:
cephadmin@ceph-deploy:~/ceph-cluster$ rbd --image data-image-k8s1 --pool rbd-k8s1 info 
rbd image 'data-image-k8s1':size 20 GiB in 5120 objectsorder 22 (4 MiB objects)snapshot_count: 0id: b1eb383b76b7block_name_prefix: rbd_data.b1eb383b76b7format: 2features: layering, exclusive-lock, object-map, fast-diffop_features: flags: object map invalid, fast diff invalidcreate_timestamp: Mon Sep  2 16:49:42 2024access_timestamp: Mon Sep  2 16:49:42 2024modify_timestamp: Mon Sep  2 16:49:42 2024

禁用:

#禁用指定存储池中指定镜像的特性:
$ rbd feature disable fast-diff --pool rbd-data1 --image data-img1
#验证镜像特性:
cephadmin@ceph-deploy:~/ceph-cluster$ rbd --image data-image-k8s1 --pool rbd-k8s1 info 
rbd image 'data-image-k8s1':size 20 GiB in 5120 objectsorder 22 (4 MiB objects)snapshot_count: 0id: b1eb383b76b7block_name_prefix: rbd_data.b1eb383b76b7format: 2features: layering, exclusive-lockop_features: flags: create_timestamp: Mon Sep  2 16:49:42 2024access_timestamp: Mon Sep  2 16:49:42 2024modify_timestamp: Mon Sep  2 16:49:42 2024

3、配置客户端使用RBD

在ubuntu2204客户端挂载RBD,并分别使用admin及普通用户挂载RBD并验证使用

3.1 客户端配置yum源

客户端想使用ceph RBD,需要安装Ceph客户端组件ceph-common

root@ceph-node3:~# apt install ceph-common
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
ceph-common is already the newest version (18.2.4-1jammy).
ceph-common set to manually installed.
0 upgraded, 0 newly installed, 0 to remove and 6 not upgraded.
3.2 客户端使用admin用户挂载并使用RBD
3.2.1 同步admin账号认证文件
#从部署服务器同步认证文件:
[cephadmin@ceph-deploy ceph-cluster]$ scp ceph.conf ceph.client.admin.keyring root@192.168.31.58:/etc/ceph/
3.2.2 客户端映射
root@ceph-node3:~# rbd -p rbd-k8s1 map data-image-k8s1 
/dev/rbd0
root@ceph-node3:~# rbd -p rbd-k8s1 map data-image-k8s2 
/dev/rbd1

客户端验证镜像

root@ceph-node3:~# 
root@ceph-node3:~# lsblk
NAME                                                                                    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
fd0                                                                                       2:0    1     4K  0 disk 
loop0                                                                                     7:0    0     4K  1 loop /snap/bare/5
loop1                                                                                     7:1    0  74.3M  1 loop /snap/core22/1564
loop2                                                                                     7:2    0  74.3M  1 loop /snap/core22/1586
loop3                                                                                     7:3    0 266.6M  1 loop /snap/firefox/3836
loop4                                                                                     7:4    0 269.8M  1 loop /snap/firefox/4793
loop5                                                                                     7:5    0   497M  1 loop /snap/gnome-42-2204/141
loop6                                                                                     7:6    0 505.1M  1 loop /snap/gnome-42-2204/176
loop7                                                                                     7:7    0  91.7M  1 loop /snap/gtk-common-themes/1535
loop8                                                                                     7:8    0  12.3M  1 loop /snap/snap-store/959
loop9                                                                                     7:9    0  40.4M  1 loop /snap/snapd/20671
loop10                                                                                    7:10   0  38.8M  1 loop /snap/snapd/21759
loop11                                                                                    7:11   0   500K  1 loop /snap/snapd-desktop-integration/178
loop12                                                                                    7:12   0   452K  1 loop /snap/snapd-desktop-integration/83
loop13                                                                                    7:13   0  12.9M  1 loop /snap/snap-store/1113
sda                                                                                       8:0    0   200G  0 disk 
├─sda1                                                                                    8:1    0     1M  0 part 
├─sda2                                                                                    8:2    0   513M  0 part /boot/efi
└─sda3                                                                                    8:3    0 199.5G  0 part /var/snap/firefox/common/host-hunspell/
sr0                                                                                      11:0    1  1024M  0 rom  
sr1                                                                                      11:1    1   4.7G  0 rom  
rbd0                                                                                    251:0    0    20G  0 disk 
rbd1                                                                                    251:16   0    20G  0 disk 

格式化磁盘并挂载使用

root@ceph-node3:~# mkfs.xfs  /dev/rbd0 
meta-data=/dev/rbd0              isize=512    agcount=16, agsize=327680 blks=                       sectsz=512   attr=2, projid32bit=1=                       crc=1        finobt=1, sparse=1, rmapbt=0=                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=5242880, imaxpct=25=                       sunit=16     swidth=16 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2=                       sectsz=512   sunit=16 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
Discarding blocks...Done.root@ceph-node3:~# mkfs.xfs  /dev/rbd1 
meta-data=/dev/rbd1              isize=512    agcount=16, agsize=327680 blks=                       sectsz=512   attr=2, projid32bit=1=                       crc=1        finobt=1, sparse=1, rmapbt=0=                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=5242880, imaxpct=25=                       sunit=16     swidth=16 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2=                       sectsz=512   sunit=16 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
Discarding blocks...Done.root@ceph-node3:~# mkdir /data /data1 -p
root@ceph-node3:~# mount /dev/rbd0 /data 
root@ceph-node3:~# 
root@ceph-node3:~# mount /dev/rbd1 /data1 
root@ceph-node3:~# 
root@ceph-node3:~# df -h 
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           1.6G  1.9M  1.6G   1% /run
/dev/sda3       196G   13G  173G   7% /
tmpfs           7.8G     0  7.8G   0% /dev/shm
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
/dev/sda2       512M  6.1M  506M   2% /boot/efi
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-11
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-10
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-9
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-8
tmpfs           1.6G   44K  1.6G   1% /run/user/1000
/dev/rbd0        20G  176M   20G   1% /data
/dev/rbd1        20G  176M   20G   1% /data1

客户端验证写入数据

root@ceph-node3:/usr/local/pigz-2.8# apt install docker.io
root@ceph-node3:/usr/local/pigz-2.8# docker run -it -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -v /data:/var/lib/mysql mysql:5.6.46 
# 验证数据
root@ceph-node3:/usr/local/pigz-2.8# ll /data
total 110608
drwxr-xr-x  4  999 root      114  9月  3 08:33 ./
drwxr-xr-x 22 root root     4096  9月  3 08:07 ../
-rw-rw----  1  999  999       56  9月  3 08:33 auto.cnf
-rw-rw----  1  999  999 12582912  9月  3 08:33 ibdata1
-rw-rw----  1  999  999 50331648  9月  3 08:33 ib_logfile0
-rw-rw----  1  999  999 50331648  9月  3 08:32 ib_logfile1
drwx------  2  999  999     4096  9月  3 08:33 mysql/
drwx------  2  999  999     4096  9月  3 08:33 performance_schema/

验证mysql访问。测试数据库访问及创建数据库

root@ceph-node3:/usr/local/pigz-2.8# mysql -uroot -p -h 192.168.31.58 
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.6.46 MySQL Community Server (GPL)Copyright (c) 2000, 2024, Oracle and/or its affiliates.Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> 
mysql> show databases ;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
+--------------------+
3 rows in set (0.00 sec)mysql> create database test;
Query OK, 1 row affected (0.01 sec)mysql> show databases ;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| test               |
+--------------------+
4 rows in set (0.00 sec)mysql> exit 
Bye
root@ceph-node3:/usr/local/pigz-2.8# ll /data
total 110608
drwxr-xr-x  5  999 root      126  9月  3 08:36 ./
drwxr-xr-x 22 root root     4096  9月  3 08:07 ../
-rw-rw----  1  999  999       56  9月  3 08:33 auto.cnf
-rw-rw----  1  999  999 12582912  9月  3 08:33 ibdata1
-rw-rw----  1  999  999 50331648  9月  3 08:33 ib_logfile0
-rw-rw----  1  999  999 50331648  9月  3 08:32 ib_logfile1
drwx------  2  999  999     4096  9月  3 08:33 mysql/
drwx------  2  999  999     4096  9月  3 08:33 performance_schema/
drwx------  2  999  999       20  9月  3 08:36 test/

在这里插入图片描述
可以看到rbd数据已更新到/data
查看存储池空间
在这里插入图片描述
在这里插入图片描述
excl 表示已经被客户端映射,所以施加了锁文件
可以验证ceph内核模块

root@ceph-node3:/usr/local/pigz-2.8# lsmod|grep ceph 
libceph               544768  1 rbd
libcrc32c              12288  5 nf_conntrack,nf_nat,nf_tables,xfs,libceph
3.3 客户端使用普通用户挂载并使用RBD
3.3.1 创建普通用户并授权
# 创建普通用户
cephadmin@ceph-deploy:~/ceph-cluster$ ceph auth add client.ymm mon 'allow r' osd 'allow rwx pool=rbd-k8s1'
added key for client.ymm
# 验证用户信息
cephadmin@ceph-deploy:~/ceph-cluster$ ceph auth get client.ymm
[client.ymm]key = AQDXWtZmUuRBLxAARePv0/WIeQd+/Oi3VCuExg==caps mon = "allow r"caps osd = "allow rwx pool=rbd-k8s1"
# 创建keyring文件
cephadmin@ceph-deploy:~/ceph-cluster$ ceph-authtool  --create-keyring ceph.client.ymm.keyring
creating ceph.client.ymm.keyring
cephadmin@ceph-deploy:~/ceph-cluster$ 
cephadmin@ceph-deploy:~/ceph-cluster$ ll
total 4780
drwxrwxr-x  2 cephadmin cephadmin    4096  9月  3 08:40 ./
drwxr-x--- 16 cephadmin cephadmin    4096  9月  2 14:14 ../
-rw-------  1 cephadmin cephadmin     113  8月 27 14:27 ceph.bootstrap-mds.keyring
-rw-------  1 cephadmin cephadmin     113  8月 27 14:27 ceph.bootstrap-mgr.keyring
-rw-------  1 cephadmin cephadmin     113  8月 27 14:27 ceph.bootstrap-osd.keyring
-rw-------  1 cephadmin cephadmin     113  8月 27 14:27 ceph.bootstrap-rgw.keyring
-rw-------  1 cephadmin cephadmin     151  8月 27 14:27 ceph.client.admin.keyring
-rw-------  1 cephadmin cephadmin       0  9月  2 16:16 ceph.client.wangwu.keyring
-rw-------  1 cephadmin cephadmin       0  9月  3 08:40 ceph.client.ymm.keyring
-rw-------  1 cephadmin cephadmin     151  9月  2 16:16 ceph.client.zhangsan.keyring
-rw-rw-r--  1 cephadmin cephadmin     315  8月 30 14:51 ceph.conf
-rw-rw-r--  1 cephadmin cephadmin 4847052  8月 30 14:51 ceph-deploy-ceph.log
-rw-------  1 cephadmin cephadmin      73  8月 27 11:07 ceph.mon.keyring
cephadmin@ceph-deploy:~/ceph-cluster$ # 导出用户keyring
cephadmin@ceph-deploy:~/ceph-cluster$ ceph auth get client.ymm -o ceph.client.ymm.keyring  
cephadmin@ceph-deploy:~/ceph-cluster$ 
cephadmin@ceph-deploy:~/ceph-cluster$ cat ceph.client.ymm.keyring 
[client.ymm]key = AQDXWtZmUuRBLxAARePv0/WIeQd+/Oi3VCuExg==caps mon = "allow r"caps osd = "allow rwx pool=rbd-k8s1"
3.3.2 安装ceph客户端
~# wget -q -O- 'https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc' | sudo apt-key add - 
~# vim /etc/apt/sources.list 
~# apt install ceph-common
3.3.3 同步普通用户认证文件

将该用户的keyring文件拷贝到客户端

cephadmin@ceph-node4:/etc/ceph$ ll
total 32
drwxr-xr-x   2 root root  4096  9月  3 08:46 ./
drwxr-xr-x 135 root root 12288  9月  3 08:43 ../
-rw-------   1 root root   151  8月 30 14:51 ceph.client.admin.keyring
-rw-------   1 root root   121  9月  3 08:46 ceph.client.ymm.keyring
-rw-r--r--   1 root root   315  8月 30 14:51 ceph.conf
-rw-r--r--   1 root root    92  7月 12 23:42 rbdmap
-rw-------   1 root root     0  8月 27 16:03 tmprpbEIX
-rw-------   1 root root     0  8月 30 14:33 tmpVnBm4f
3.3.4 验证权限

认证文件的属主和属组为了安全考虑,默认设置为root用户和root组,如果需要ceph用户也能执行ceph命令,就需要对ceph用户进行授权

cephadmin@ceph-node4:/etc/ceph$ sudo apt install acl
cephadmin@ceph-node4:/etc/ceph$ sudo setfacl -m u:cephadmin:rw /etc/ceph/ceph.client.ymm.keyring 
cephadmin@ceph-node4:/etc/ceph$ 
cephadmin@ceph-node4:/etc/ceph$ 
cephadmin@ceph-node4:/etc/ceph$ ll
total 32
drwxr-xr-x    2 root root  4096  9月  3 08:46 ./
drwxr-xr-x  135 root root 12288  9月  3 08:43 ../
-rw-------    1 root root   151  8月 30 14:51 ceph.client.admin.keyring
-rw-rw----+   1 root root   121  9月  3 08:46 ceph.client.ymm.keyring
-rw-r--r--    1 root root   315  8月 30 14:51 ceph.conf
-rw-r--r--    1 root root    92  7月 12 23:42 rbdmap
-rw-------    1 root root     0  8月 27 16:03 tmprpbEIX
-rw-------    1 root root     0  8月 30 14:33 tmpVnBm4f
cephadmin@ceph-node4:/etc/ceph$ 
cephadmin@ceph-node4:/etc/ceph$ ceph --user ymm -s cluster:id:     74d6f368-8875-4340-857f-0daa3e96b5dchealth: HEALTH_WARN1 pool(s) do not have an application enabledservices:mon: 3 daemons, quorum ceph-mon1,ceph-mon2,ceph-mon3 (age 3d)mgr: ceph-mgr1(active, since 6d), standbys: ceph-mgr2mds: 1/1 daemons uposd: 16 osds: 16 up (since 3d), 16 in (since 4d)rgw: 1 daemon active (1 hosts, 1 zones)data:volumes: 1/1 healthypools:   10 pools, 353 pgsobjects: 416 objects, 153 MiBusage:   1.6 GiB used, 3.1 TiB / 3.1 TiB availpgs:     353 active+clean
3.3.5 映射rbd

使用普通用户权限映射rbd

# 如果报以下的错误说明内核模块没有加载
cephadmin@ceph-node4:/etc/ceph$ rbd --id ymm -p rbd-k8s1 map data-image-k8s1 
modprobe: ERROR: could not insert 'rbd': Operation not permitted
rbd: failed to load rbd kernel module (1)
rbd: failed to set udev buffer size: (1) Operation not permitted
rbd: sysfs write failed
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (2) No such file or directory# 查看rbd内核模块
cephadmin@ceph-node4:/etc/ceph$ lsmod  |grep rbd 
# 手动加载
cephadmin@ceph-node4:/etc/ceph$ sudo modprobe rbd
cephadmin@ceph-node4:/etc/ceph$ 
cephadmin@ceph-node4:/etc/ceph$ 
cephadmin@ceph-node4:/etc/ceph$ lsmod |grep rbd 
rbd                   126976  0
libceph               544768  1 rbdcephadmin@ceph-node4:/etc/ceph$ sudo -i
root@ceph-node4:~# 
root@ceph-node4:~# 
root@ceph-node4:~# rbd --id ymm -p rbd-k8s1 map data-image-k8s2
/dev/rbd1root@ceph-node4:~# fdisk -l /dev/rbd1
Disk /dev/rbd1: 20 GiB, 21474836480 bytes, 41943040 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 65536 bytesroot@ceph-node4:~# mkfs.xfs -f /dev/rbd1
meta-data=/dev/rbd1              isize=512    agcount=16, agsize=327680 blks=                       sectsz=512   attr=2, projid32bit=1=                       crc=1        finobt=1, sparse=1, rmapbt=0=                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=5242880, imaxpct=25=                       sunit=16     swidth=16 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2=                       sectsz=512   sunit=16 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
Discarding blocks...Done.
root@ceph-node4:~# mount /dev/rbd1 /data 
root@ceph-node4:~# 
root@ceph-node4:~# ll /data/
total 4
drwxr-xr-x  2 root root    6  9月  3 09:04 ./
drwxr-xr-x 21 root root 4096  9月  3 09:01 ../
3.3.6 客户端验证
root@ceph-node4:~# dd if=/dev/zero of=/data/ceph-test-file bs=1MB count=300
300+0 records in
300+0 records out
300000000 bytes (300 MB, 286 MiB) copied, 0.20067 s, 1.5 GB/s
root@ceph-node4:~# 
root@ceph-node4:~# ll /data/
total 292976
drwxr-xr-x  2 root root        28  9月  3 09:05 ./
drwxr-xr-x 21 root root      4096  9月  3 09:01 ../
-rw-r--r--  1 root root 300000000  9月  3 09:05 ceph-test-file

在这里插入图片描述

3.3.7 删除数据
root@ceph-node4:/data# rm -fr ceph-test-file 
root@ceph-node4:/data# 
root@ceph-node4:/data# ll
total 4
drwxr-xr-x  2 root root    6  9月  3 09:06 ./
drwxr-xr-x 21 root root 4096  9月  3 09:01 ../

删除完成的数据只是标记为已经被删除,但是不会从块存储立即清空,因此在删除完成后使用 ceph df 查看并没有回收空间:
在这里插入图片描述
但是后期可以使用此空间,如果需要立即在系统层回收空间,需要执行以下命令:

方式一:
root@ceph-node4:/data# fstrim -v /data 
/data: 20 GiB (21463613440 bytes) trimmed #/data 为挂载点,fstrim 命令来自于英文词组“filesystem trim”的缩写,其功能是回收文件系统中未使用的块资源。
方式二:
或者配置挂载选项
~]# rbd -p myrbd1 map myimg2
~]# mount -t xfs -o discard /dev/rbd0 /data/ #主要用于 SSD,立即触发闲置的块回收

在这里插入图片描述

3.4 rbd进行空间拉伸

可以扩展空间,不建议缩小空间

# 当前rbd镜像空间大小
root@ceph-node3:/usr/local/pigz-2.8# rbd ls -p rbd-k8s1 -l 
NAME             SIZE    PARENT  FMT  PROT  LOCK
data-image-k8s1  20 GiB            2        excl
data-image-k8s2  20 GiB            2     # 拉伸rbd镜像空间
root@ceph-node3:/usr/local/pigz-2.8# rbd resize --pool rbd-k8s1 --image data-image-k8s1 --size 50G 
Resizing image: 100% complete...done.
root@ceph-node3:/usr/local/pigz-2.8# rbd ls -p rbd-k8s1 -l 
NAME             SIZE    PARENT  FMT  PROT  LOCK
data-image-k8s1  50 GiB            2            
data-image-k8s2  20 GiB            2     root@ceph-node3:/usr/local/pigz-2.8# fdisk -l /dev/rbd0
Disk /dev/rbd0: 50 GiB, 53687091200 bytes, 104857600 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 65536 bytes
root@ceph-node3:/usr/local/pigz-2.8# 
root@ceph-node3:/usr/local/pigz-2.8# 
root@ceph-node3:/usr/local/pigz-2.8# 
root@ceph-node3:/usr/local/pigz-2.8# # resize2fs  /dev/rbd0  # 在node节点对ext4 磁盘符重新识别
root@ceph-node3:/usr/local/pigz-2.8# 
root@ceph-node3:/usr/local/pigz-2.8# xfs_growfs /data  # 在node节点对xfs磁盘挂载点重新识别
meta-data=/dev/rbd0              isize=512    agcount=16, agsize=327680 blks=                       sectsz=512   attr=2, projid32bit=1=                       crc=1        finobt=1, sparse=1, rmapbt=0=                       reflink=1    bigtime=0 inobtcount=0
data     =                       bsize=4096   blocks=5242880, imaxpct=25=                       sunit=16     swidth=16 blks
naming   =version 2              bsize=4096   ascii-ci=0, ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2=                       sectsz=512   sunit=16 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
data blocks changed from 5242880 to 13107200
root@ceph-node3:/usr/local/pigz-2.8# 
root@ceph-node3:/usr/local/pigz-2.8# df -h # 可以看到已经更新到50G了
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           1.6G  2.0M  1.6G   1% /run
/dev/sda3       196G   14G  173G   8% /
tmpfs           7.8G     0  7.8G   0% /dev/shm
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
/dev/sda2       512M  6.1M  506M   2% /boot/efi
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-11
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-10
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-9
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-8
tmpfs           1.6G   44K  1.6G   1% /run/user/1000
/dev/rbd0        50G  508M   50G   1% /data
/dev/rbd1        20G  176M   20G   1% /data1
overlay         196G   14G  173G   8% /var/lib/docker/overlay2/17635b5a82ee2644b11acc9e058b34790958a920e58d2bdd01b64a7246545bfe/merged

可以设置开机自动挂载

root@ceph-node3:/usr/local/pigz-2.8# cat /etc/rc.local
rbd --user ymm -p rbd-k8s1 map data-image-k8s1
mount /dev/rbd0 /data
# 查看rbd映射
root@ceph-node3:/usr/local/pigz-2.8# rbd showmapped 
id  pool      namespace  image            snap  device   
0   rbd-k8s1             data-image-k8s1  -     /dev/rbd0
1   rbd-k8s1             data-image-k8s2  -     /dev/rbd1
3.5 卸载和删除rbd镜像

镜像删除后数据也会被删除且无法恢复,因此在执行删除操作要慎重!!!!

# 卸载rbd镜像
root@ceph-node3:/usr/local/pigz-2.8# umount /data1
root@ceph-node3:/usr/local/pigz-2.8# 
root@ceph-node3:/usr/local/pigz-2.8# rbd --user ymm -p rbd-k8s1 unmap data-image-k8s2 
rbd: --user is deprecated, use --id#删除rbd镜像
root@ceph-node3:/usr/local/pigz-2.8# rbd rm --pool rbd-k8s1 --image data-image-k8s2 
2024-09-03T09:25:27.608+0800 73b4b3e006c0 -1 librbd::image::PreRemoveRequest: 0x608add5e63f0 check_image_watchers: image has watchers - not removing
Removing image: 0% complete...failed.
rbd: error: image still has watchers
This means the image is still open or the client using it crashed. Try again after closing/unmapping it or waiting 30s for the crashed client to timeout.
# 如果出现上面的报错,说明还有客户端在使用
root@ceph-node3:/usr/local/pigz-2.8# rbd status rbd-k8s1/data-image-k8s2
Watchers:watcher=192.168.31.59:0/3278940725 client.55806 cookie=18446462598732840964#切换到192.168.31.59
root@ceph-node4:~# umount /data 
root@ceph-node4:~# 
root@ceph-node4:~# rbd --id ymm --pool rbd-k8s1 unmap data-image-k8s2 
# 然后就可以删除了
root@ceph-node3:/usr/local/pigz-2.8# rbd rm --pool rbd-k8s1 --image data-image-k8s2 
Removing image: 100% complete...done.
3.6 rbd镜像回收站机制

删除的镜像数据无法恢复,但是还有另外一种方法可以把镜像移动到回收站,后期确认删除的时候再从回收站删除即可

# 查看镜像状态
root@ceph-node3:/usr/local/pigz-2.8# rbd status --pool rbd-k8s1 --image data-image-k8s2
Watchers:watcher=192.168.31.58:0/1285141014 client.55944 cookie=18446462598732840961
# 将镜像移动到回收站
root@ceph-node3:/usr/local/pigz-2.8# rbd trash move --pool rbd-k8s1 --image data-image-k8s2 
root@ceph-node3:/usr/local/pigz-2.8# 
# 查看回收站的镜像
root@ceph-node3:/usr/local/pigz-2.8# rbd trash list --pool rbd-k8s1
456e95c00df6 data-image-k8s2
root@ceph-node3:/usr/local/pigz-2.8# rbd --id ymm --pool rbd-k8s1 unmap data-image-k8s2 
root@ceph-node3:/usr/local/pigz-2.8# 
#还原镜像
root@ceph-node3:/usr/local/pigz-2.8# rbd trash restore --pool rbd-data1 --image data-image-k8s2 --image-id 456e95c00df6
#验证镜像:
root@ceph-node3:/usr/local/pigz-2.8# rbd ls --pool rbd-data1 -l
NAME SIZE PARENT FMT PROT LOCK
data-image2 8 GiB 2#从回收站删除镜像
root@ceph-node3:/usr/local/pigz-2.8# rbd trash remove --pool rbd-k8s1 456e95c00df6 
Removing image: 100% complete...done.

4、镜像快照

[cephadmin@ceph-deploy ceph-cluster]$ rbd help snap
snap create (snap add) #创建快照
snap limit clear #清除镜像的快照数量限制
snap limit set #设置一个镜像的快照上限
snap list (snap ls) #列出快照
snap protect #保护快照被删除
snap purge #删除所有未保护的快照
snap remove (snap rm) #删除一个快照
snap rename #重命名快照
snap rollback (snap revert) #还原快照
snap unprotect #允许一个快照被删除(取消快照保护)
4.1 客户端当前数据
root@ceph-node3:/usr/local/pigz-2.8# df -h 
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           1.6G  2.0M  1.6G   1% /run
/dev/sda3       196G   14G  173G   8% /
tmpfs           7.8G     0  7.8G   0% /dev/shm
tmpfs           5.0M  4.0K  5.0M   1% /run/lock
/dev/sda2       512M  6.1M  506M   2% /boot/efi
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-11
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-10
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-9
tmpfs           7.8G   28K  7.8G   1% /var/lib/ceph/osd/ceph-8
tmpfs           1.6G   44K  1.6G   1% /run/user/1000
/dev/rbd0        50G  508M   50G   1% /data
overlay         196G   14G  173G   8% /var/lib/docker/overlay2/17635b5a82ee2644b11acc9e058b34790958a920e58d2bdd01b64a7246545bfe/merged
root@ceph-node3:/usr/local/pigz-2.8# 
root@ceph-node3:/usr/local/pigz-2.8# ll /data
total 110608
drwxr-xr-x  5  999 root      126  9月  3 08:36 ./
drwxr-xr-x 22 root root     4096  9月  3 08:07 ../
-rw-rw----  1  999  999       56  9月  3 08:33 auto.cnf
-rw-rw----  1  999  999 12582912  9月  3 08:33 ibdata1
-rw-rw----  1  999  999 50331648  9月  3 08:33 ib_logfile0
-rw-rw----  1  999  999 50331648  9月  3 08:32 ib_logfile1
drwx------  2  999  999     4096  9月  3 08:33 mysql/
drwx------  2  999  999     4096  9月  3 08:33 performance_schema/
drwx------  2  999  999       20  9月  3 08:36 test/
4.2 创建并验证快照
# 创建快照
root@ceph-node3:/usr/local/pigz-2.8# rbd snap create --pool rbd-k8s1 --image data-image-k8s1 --snap mysql-data-202400903 
Creating snap: 100% complete...done.
root@ceph-node3:/usr/local/pigz-2.8# 
# 验证快照
root@ceph-node3:/usr/local/pigz-2.8# rbd snap list --pool rbd-k8s1 --image data-image-k8s1 
SNAPID  NAME                  SIZE    PROTECTED  TIMESTAMP               4  mysql-data-202400903  50 GiB             Tue Sep  3 09:44:38 2024
4.3 删除数据并还原数据

模拟删除mysql的test库

root@ceph-node3:/usr/local/pigz-2.8# ll /data
total 110608
drwxr-xr-x  5  999 root      126  9月  3 08:36 ./
drwxr-xr-x 22 root root     4096  9月  3 08:07 ../
-rw-rw----  1  999  999       56  9月  3 08:33 auto.cnf
-rw-rw----  1  999  999 12582912  9月  3 08:33 ibdata1
-rw-rw----  1  999  999 50331648  9月  3 08:33 ib_logfile0
-rw-rw----  1  999  999 50331648  9月  3 08:32 ib_logfile1
drwx------  2  999  999     4096  9月  3 08:33 mysql/
drwx------  2  999  999     4096  9月  3 08:33 performance_schema/
drwx------  2  999  999       20  9月  3 08:36 test/
root@ceph-node3:/usr/local/pigz-2.8# rm -fr /data/test/
root@ceph-node3:/usr/local/pigz-2.8# 
root@ceph-node3:/usr/local/pigz-2.8# ll /data
total 110608
drwxr-xr-x  4  999 root      114  9月  3 09:45 ./
drwxr-xr-x 22 root root     4096  9月  3 08:07 ../
-rw-rw----  1  999  999       56  9月  3 08:33 auto.cnf
-rw-rw----  1  999  999 12582912  9月  3 08:33 ibdata1
-rw-rw----  1  999  999 50331648  9月  3 08:33 ib_logfile0
-rw-rw----  1  999  999 50331648  9月  3 08:32 ib_logfile1
drwx------  2  999  999     4096  9月  3 08:33 mysql/
drwx------  2  999  999     4096  9月  3 08:33 performance_schema/#卸载rbd
root@ceph-node3:/usr/local/pigz-2.8# rbd --id ymm --pool rbd-k8s1 unmap data-image-k8s1
rbd: sysfs write failed
rbd: unmap failed: (16) Device or resource busy
# 如果上面显示错误,先lsof查看下是否有对应设备在使用sudo rbd unmap -o force /dev/rbd0# 卸载完镜像后回滚快照
root@ceph-node3:/usr/local/pigz-2.8# rbd snap rollback --pool rbd-k8s1 --image data-image-k8s1 --snap mysql-data-202400903
Rolling back to snapshot: 100% complete...done.
4.4 客户端验证数据

客户端需要重新映射并挂载rbd

root@ceph-node4:~# rbd --id ymm -p rbd-k8s1 map data-image-k8s1 
/dev/rbd0
root@ceph-node4:~# 
root@ceph-node4:~# 
root@ceph-node4:~# mount /dev/rbd0 /data 
root@ceph-node4:~# 
root@ceph-node4:~# ll /data/
total 110608
drwxr-xr-x  5  999 root      126  9月  3 08:36 ./
drwxr-xr-x 21 root root     4096  9月  3 09:01 ../
-rw-rw----  1  999  999       56  9月  3 08:33 auto.cnf
-rw-rw----  1  999  999 12582912  9月  3 08:33 ibdata1
-rw-rw----  1  999  999 50331648  9月  3 08:33 ib_logfile0
-rw-rw----  1  999  999 50331648  9月  3 08:32 ib_logfile1
drwx------  2  999  999     4096  9月  3 08:33 mysql/
drwx------  2  999  999     4096  9月  3 08:33 performance_schema/
drwx------  2  999  999       20  9月  3 08:36 test/
4.5 删除快照
root@ceph-node4:~# rbd snap list --pool rbd-k8s1 --image data-image-k8s1 
SNAPID  NAME                  SIZE    PROTECTED  TIMESTAMP               6  mysql-data-202400903  50 GiB             Tue Sep  3 11:22:05 2024root@ceph-node4:~# rbd snap rollback --pool rbd-k8s1 --image data-image-k8s1 --snap mysql-data-202400903
Rolling back to snapshot: 100% complete...done.root@ceph-node4:~# rbd snap remove -p rbd-k8s1 --image data-image-k8s1 --snap mysql-data-202400903 
Removing snap: 100% complete...done.
root@ceph-node4:~# 
root@ceph-node4:~# rbd snap list -p rbd-k8s1 --image data-image-k8s1 
4.6 快照数量限制
#设置与修改快照数量限制
[cephadmin@ceph-deploy ceph-cluster]$ rbd snap limit set --pool rbd-k8s1 --image
data-image1 --limit 30
[cephadmin@ceph-deploy ceph-cluster]$ rbd snap limit set --pool rbd-k8s1 --image
data-image1 --limit 20
[cephadmin@ceph-deploy ceph-cluster]$ rbd snap limit set --pool rbd-k8s1 --image
data-image1 --limit 15
#清除快照数量限制
[cephadmin@ceph-deploy ceph-cluster]$ rbd snap limit clear --pool rbd-k8s1 --image
data-image1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/417612.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

社交媒体的智能变革:Facebook AI优化用户体验

Facebook作为全球领先的社交平台,一直致力于通过人工智能(AI)技术提升用户体验。AI技术在Facebook的应用涵盖了推荐系统、自然语言处理、广告投放和用户反馈等多个方面,使平台的互动和内容体验更加智能和个性化。 推荐系统的智能化…

结构型设计模式—外观模式

结构型设计模式—外观模式 在软件开发的过程中,你是否遇到过这样的情况:你需要调用一个复杂系统中的多个模块,而每个模块都有自己的接口和使用方法,这让你不得不面对复杂的调用逻辑和大量的冗余代码?这时候&#xff0…

【网络安全】XSS+OTP绕过+账户接管

未经许可,不得转载。 文章目录 正文XSSOTP绕过账户接管正文 目标:www.example.com XSS 不断寻找可能存在XSS的点位。 终于,在个人资料页面:www.example.com/profile_details.php?userid= ,使用Payload<script>alert(1)</script>,实现XSS: 因此,能够实…

vxe-table——实现table 动态显示 +冻结列等功能——技能提升

之前我也有写过类似的功能&#xff0c;就是可以自定义勾选需要展示的列。 不过之前是我自己写的弹窗处理的&#xff0c;有现成的插件vex-table插件可以使用。 vxe-table官网&#xff1a;https://vxetable.cn/v3/#/table/api 解决步骤1&#xff1a;安装vxe-table——npm inst…

HTTP状态码介绍,带你了解请求响应全过程

1xx状态码&#xff1a;&#x1f449;表示信息响应&#xff0c;客户端请求已被接收&#xff0c;继续处理。 100 - Continue&#xff1a;客户端应继续其请求。&#x1f914; 101 -Switching Protocols&#xff1a;服务器已经理解并接受了客户端的请求&#xff0c;将切换协议。 10…

【自用14】C++俄罗斯方块-思路复盘

1.编写主函数 int main(void){welcome();//欢迎函数system("pause");//窗口停留colsegraph();//关闭图画return 0;//返回值 }其中包含有最开始的欢迎&#xff0c;以及基础的窗口停留、图画关闭和返回值语句 2.编写欢迎函数 需求&#xff1a; 欢迎函数中需要包含的…

Java如何读取resources目录下的文件路径(九种代码示例教程)

本文摘要&#xff1a;Java如何读取resources目录下的文件路径 &#x1f60e; 作者介绍&#xff1a;我是程序员洲洲&#xff0c;一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主。公粽号&#xff1a;洲与AI。 &#x1f91…

教育行业解决方案:智能PPT在教育行业的创新应用

在信息化时代&#xff0c;教育行业面临着巨大的变革。随着人工智能技术的不断发展&#xff0c;传统教学方式正在被重新定义。彩漩科技作为 AI 技术的先行者&#xff0c;推出了歌者 PPT &彩漩 PPT&#xff0c;为教师、学生和家长提供了一种全新的教育体验&#xff0c;实现了…

Quartz.Net_持久化

简述 通常而言&#xff0c;Quartz.Net的数据默认是存储在运存中的&#xff0c;换言之&#xff1a;断电即失。所以在默认情况下&#xff0c;当系统重启后&#xff0c;原先的所有任务、触发器、调度器都会失效 为避免上述情况的发生&#xff0c;可以对Quartz.Net进行持久化设置…

第二十一届华为杯数学建模经验分享之资料分享篇

今天给大家分享一些数学建模的资料&#xff0c;通过这些资料的学习相信你们一定在比赛中获得好的成绩。今天分享的资料包括美赛和国赛的优秀论文集、研赛的优秀论文集、推荐数学建模的相关书籍、智能算法的学习PPT、python机器学习的书籍和数学建模经验分享与总结&#xff0c;其…

[Hive]五、Hive 源码编译

G:\Bigdata\2.hive\大数据技术之Hive源码编译 Hadoop3.3.1 Hive3.1.3 Spark3.3.1 Hive on spark / spark on hive 均验证通过。 第1章 部署Hadoop和Hive 1.1 版本测试 Hadoop3.3.6 和Hive3.1.3 运行hive客户端时报错: java.lang.NoSuchMethodError:com.google.common.ba…

蓝桥杯:整数删除

// 蓝桥杯整数删除.cpp : Defines the entry point for the console application. //#include "stdafx.h" #include<stdio.h> #define MAX 100 void findmin(int a[],int n,int& pos) {int mina[0];pos0;//pos0我开始忘了&#xff0c;特别注意边界for(int …

怎么才能快速提升网站在谷歌的收录?

​想让你的网站在谷歌快速收录&#xff0c;其实正常的方法都需要时间&#xff0c;无论是定期更新&#xff0c;提交网站地图&#xff0c;搞外链建设啥的&#xff0c;这些方法虽然有效&#xff0c;但见效慢。而且谷歌爬虫不会一下子抓取你所有页面&#xff0c;需要时间。如果真想…

停车找位难怎么办?捷顺智慧车位引导系统方案,让找车停车变得简单快捷!

随着城市化的快速发展&#xff0c;城市交通压力日益增大&#xff0c;尤其是在商业区、办公区和居民区&#xff0c;停车位的供需矛盾愈发突出。在这种背景下&#xff0c;车位引导系统&#xff08;PGS&#xff09;的重要性日益凸显。它不仅能够提高停车效率&#xff0c;减少车辆在…

用了这个编程助手,“数学建模”真的太简单了~

目录 一、ChatGPT在数学建模中的价值1、学习和指导2、模型评估和改进3、算法设计和优化4、解释和文档生成 二、作为编程手如何正确使用ChatGPT1、阅读代码及优化代码2、执行脚本3、生成单测 三、编程手备战建模大赛的一些建议1、明确&#xff1a;如何去问一个问题2、程序设计能…

[译] APT分析报告:12.APT29利用spy软件供应商创建的IOS、Chrome漏洞

这是作者新开的一个专栏&#xff0c;主要翻译国外知名安全厂商的技术报告和安全技术&#xff0c;了解它们的前沿技术&#xff0c;学习它们威胁溯源和恶意代码分析的方法&#xff0c;希望对您有所帮助。当然&#xff0c;由于作者英语有限&#xff0c;会借助LLM进行校验和润色&am…

STM32F100xx 系统架构

STM32F100xx 系统架构 参考手册下载关键词: STM32F100xx advanced Arm-based 32-bit MCUs - Reference manual 总结 注意: 这个架构是High-density value line devices的图。 ICode bus 把M3内核指令总线连接到闪存指令接口。Bus matrix 由4主4从构成。 总线矩阵管理内核系…

进程

进程 进程进程的含义PCB块内存空间进程分类&#xff1a;进程的作用进程的状态进程已经准备好执行&#xff0c;所有的资源都已分配&#xff0c;只等待CPU时间进程的调度 进程相关命6.查询进程相关命令1.ps aux2.top3.kill和killall发送一个信号 函数1.fork();2.getpid3.getppid示…

Web 应用开源项目大全结合巴比达内网穿透

巴比达内网穿透配置 一、引言 无论是家庭用户还是企业用户&#xff0c;内网穿透技术的需求日益增长。巴比达&#xff08;BabiDa&#xff09;内网穿透工具以其简单易用的特性&#xff0c;成为了许多用户的首选。本文将详细介绍巴比达内网穿透的配置方法&#xff0c;帮助您轻松实…

人工智能在行动:利用人工智能扩展您的显示和视频工作

在过去的18个月里&#xff0c;我们见证了一场由生成式AI带动的变革性革命。我们看到消费者对生成式AI工具的使用从最初的好奇&#xff0c;逐渐发展到掌握知识并付诸行动。2024年标志着 AI实际应用 的一年&#xff0c;这一年里&#xff0c;每个人都开始利用这些技术来变得更加敏…