linux部署NFS和autofs自动挂载

目录

(一)NFS:

1. 什么是NFS

2. NFS守护进程

3. RPC服务

4. 原理

5. 部署

5.1 安装NFS服务

5.2 配置防火墙

5.3 创建服务端共享目录

5.4 修改服务端配置文件

(1). /etc/exports

(2). nfs.conf

5.5 启动nfs并加入自启

5.6 客户端创建挂载目录并挂载

5.7 设置开机自动挂载

5.8 测试

5.9 补充:

(二)Autofs:

1. 挂载点和配置

2. 事件驱动

3. 后台守护进程

4. 超时机制

5. 挂载方式

6. 错误处理

7. 配置autofs

7.1 安装autofs

7.2 服务端配置

7.3 客户端配置

7.4 补充:


(一)NFS:

1. 什么是NFS


        NFS 是Network File System的缩写,即网络文件系统。英文Network File System(NFS),是基于TCP/IP协议的应用,可以通过网络,让不同的机器、不同的操作系统可以共享彼此的文件。

        NFS在文件传送或信息传送过程中依赖于RPC服务。RPC:远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。

        NFS服务器可以看作是一个FILE SERVER。它可以让你的机器(客户端)通过网络将远端的NFS SERVER共享目录MOUNT到自己的系统中。

2. NFS守护进程


nfsd:它是基本的NFS守护进程,主要功能是管理客户端是否能够登录服务器;
mountd:它是RPC安装守护进程,主要功能是管理NFS的文件系统。当客户端登录到NFS服务器后,必须通过文件使用权限的验证。它会读取NFS的配置文件/etc/exports来对比客户端权限。
portmap:主要功能是进行端口映射工作。


3. RPC服务


        RPC(Remote Procedure Call)即远程过程调用,记录NFS服务器使用的端口号,在NFS客户端发送请求时,将对应的端口号信息传递给客户端,确保客户端与服务端能连接上。

        注意:在启动NFS服务之前,必须先启动PRC服务,在Centos7中叫做 rpcbind 服务,否则 NFS Server 无法向RPC注册信息,另外,如果RPC服务重启,原来注册的NFS服务端的信息也就失效了,也必须重启NFS服务。特别要注意的是,修改NFS配置⽂件后不需要重启NFS,只需要执⾏ exportfs -rv 命令即可或是 systemctl reload nfs。

4. 原理

  1. 服务端启动RPC服务,并开启111端口。
  2. 然后服务器端启动NFS服务,并向RPC注册端口信息。
  3. 客户端启动RPC(portmap服务),向服务端的RPC(portmap)服务请求服务端的NFS端口
  4. 服务端的RPC(portmap)服务反馈NFS端口信息给客户端。
  5. 客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。
[root@node2 elysia]# rpcinfo -p 192.168.240.151program vers proto   port  service100000    4   tcp    111  portmapper100000    3   tcp    111  portmapper100000    2   tcp    111  portmapper100000    4   udp    111  portmapper100000    3   udp    111  portmapper100000    2   udp    111  portmapper

5. 部署

操作系统版本: centos 7

服务端:192.168.240.151/24(node1)

客户端:192.168.240.152/24 (node2)

5.1 安装NFS服务

        从原理可以看出,服务端和客户端都是需要下载nfs-utils和rpcbind的。

yum -y install nfs-utils rpcbind
5.2 配置防火墙

        服务端和客户端同时配置即可。

#iptables -F #使防火墙的策略恢复到默认状态,没有任何过滤规则
#iptables-save #输出当前的 iptables 配置和规则
#防火墙放行nfs,mountd,rpc-bind服务
firewall-cmd --permanent --add-service=nfs
firewall-cmd --permanent --add-service=mountd
firewall-cmd --permanent --add-service=rpc-bind
#重载防火墙
firewall-cmd --reload
5.3 创建服务端共享目录

        在nfs服务端上建立用于nfs文件共享的目录,并设置足够的权限确保其他人也有写入权限,我们创建一个测试文件readme.txt。

mkdir -p /mnt/shared
chmod 777 /mnt/shared
echo "hello world" > hello.txt
5.4 修改服务端配置文件

        NFS服务程序的配置文件为/etc/exports,默认情况下里面没有任何内容。我们可以按照“共享目录的路径        允许访问的NFS客户端(共享权限参数)”的格式,定义要共享的目录与相应权限。

        配置 NFS(网络文件系统)服务时,主要涉及两个配置文件:/etc/exportsnfs.conf。以下是这些文件中常用的参数:

(1). /etc/exports

这个文件用于定义哪些目录可以被共享,以及它们的访问权限。常用参数包括:

  • 共享目录:指定要共享的目录路径。
  • 客户端:指定可以访问该目录的客户端,可以是 IP 地址、主机名或网络段,可以使用通配符来指定网络段。
  • 访问权限
    • rw:读写权限。
    • ro:只读权限。
    • no_root_squash:允许客户端以 root 用户访问共享。默认会将 root 权限映射为普通用户。
    • root_squash:当NFS客户端以root管理员访问时,映射为NFS服务器的匿名用户
    • all_squash:将所有客户端请求映射为匿名用户。
  • 异步/同步
    • async:允许 NFS 在将数据写入磁盘之前返回响应,提高性能。
    • sync:确保数据在响应前写入磁盘,增加安全性,但性能较低。

示例

/srv/nfs 192.168.1.0/24(rw,sync,no_root_squash)/srv/nfs/docs *.example.com(ro)
(2). nfs.conf

这个文件通常位于 /etc/nfs.conf,用于配置 NFS 服务的全局参数。常用的参数包括:

  • [nfs]:NFS 相关设置。

    • vers:指定 NFS 版本。
    • mountd_port:指定 mountd 的端口号。
    • rpcbind_port:指定 rpcbind 的端口号。
  • [rpcd]:RPC 相关设置。

        我们在/etc/exports文件中加入以下行即可,nfs.conf文件有要求自行更改。

/mnt/shared 192.168.240.*(rw,sync,no_root_squash)
#/mnt/shared:服务端共享的目录
#192.168.240.*:允许访问的NFS客户端,这里是一个网段内的主机,也可以是某一个指定的主机
#(rw,sync,no_root_squash):共享权限参数
5.5 启动nfs并加入自启

        服务端配置即可。

systemctl start rpcbind # 启动rpc
systemctl start nfs-server #启动nfs
systemctl enable rpcbind  #设置开机自启
systemctl enable nfs-server #设置开机自启

5.6 客户端创建挂载目录并挂载

        挂载之前,我们可以使用showmount查看一下NFS服务端的可共享目录:

[root@node2 ~]# showmount -e 192.168.240.151
Export list for 192.168.240.151:
/mnt/shared 192.168.240.*

        在NFS客户端创建一个挂载目录,使用mount命令并结合-t参数,指定要挂载的文件系统类型,并在命令后面写上服务器IP地址,服务器上的共享目录以及要挂载到客户端的目录。

mkdir -p /mnt/nfs
mount -t nfs 192.168.240.151:/mnt/shared /mnt/nfs
#-t nfs:挂载的文件系统类型为nfs
#192.168.240.151:/mnt/shared:NFS服务端IP地址以及共享目录
#/mnt/nfs:共享目录挂载到的客户端本地目录

        使用df -h查看挂载情况:

[root@node2 ~]# df -h | tail -n 1
192.168.240.151:/mnt/shared   18G  5.1G   13G  29% /mnt/nfs

5.7 设置开机自动挂载

        上面我们虽然挂载好了,但是每次开机都需要重新挂载,非常麻烦,我们只需要在/etc/fstab文件中加入以下配置即可,之后每次开机系统就会帮我们自动挂载了。

echo "192.168.240.151:/mnt/shared /mnt/nfs nfs defaults 0 0" >> /etc/fstab
5.8 测试

        客户端进入挂载目录,查看是否存在hello.txt文件

cd /mnt/nfs
cat hello.txt

[root@node2 ~]# cd /mnt/nfs
[root@node2 nfs]# ls
hello.txt
[root@node2 nfs]# cat hello.txt
hello world

        出现hello.txt测试文件,配置完成。

5.9 补充:

卸载目录:

umount 是一个用于卸载文件系统的命令。在 Linux 和 Unix 系统中,使用 umount 可以安全地断开挂载的设备或目录。以下是 umount 的基本用法:

基本语法:umount [选项] <挂载点或设备>

示例:

  1. 卸载挂载点:

    umount /mnt/mydrive

    这将卸载 /mnt/mydrive 目录下的文件系统。

  2. 卸载特定设备:

    umount /dev/sdb1

    这将卸载 /dev/sdb1 设备。

常用选项:

  • -l:懒惰卸载,立即卸载但在文件系统不再被使用时才真正完成。
  • -f:强制卸载,即使设备忙也尝试卸载。
  • --timeout:超时时间。

注意事项:

  • 在卸载之前,确保没有进程正在使用该文件系统。
  • 如果有数据未写入,则可能会导致数据丢失。

修改超时卸载时间:

        在 NFS(网络文件系统)中,修改默认的超时卸载时间可以通过调整挂载选项来实现。NFS 的挂载通常是在 /etc/fstab 文件中配置,也可以在命令行中使用 mount 命令进行挂载。以下是如何修改默认超时卸载时间的方法:

(1). mount 命令:

在挂载 NFS 文件系统时,可以使用 timeoretrans 选项来控制超时行为。

  • timeo:设置 NFS 客户端的请求超时时间(以 1/10 秒为单位)
  • retrans:设置请求失败后重试的次数。

例如,假设你想设置超时时间为 30 秒(即 300 个 1/10 秒),并指定重试次数为 5,可以使用如下命令:

mount -o timeo=300,retrans=5 nfs_server:/path/to/share /mnt/mountpoint

(2). 修改 /etc/fstab

如果希望在系统启动时自动挂载 NFS,并应用相同的超时设置,可以将挂载选项添加到 /etc/fstab 文件中。示例如下:

nfs_server:/path/to/share /mnt/mountpoint nfs defaults,timeo=300,retrans=5 0 0

注意事项

  • timeo 的单位是 1/10 秒,因此在设置时需要将秒数乘以 10。
  • 调整这些参数时,请根据网络条件和应用需求进行合理配置,以避免过于频繁的重试或过长的等待时间。

(二)Autofs:


       与mount命令不同,autofs服务程序是一种Linux系统守护进程,当检测到用户试图访问一个尚未挂载的文件系统时,将自动挂载该文件系统。换句话说,将挂载信息填入/etc/fstab文件后,系统在每次开机时都自动将其挂载,而autofs服务程序则是在用户需要使用该文件系统时才去动态挂载,从而节约了网络资源和服务器的硬件资源。

        autofs的缺点:autofs特点是只有⽤户请求时才执⾏挂载,所以当⾼并发访问时,开始请求的瞬间需要执⾏挂载,性能较差,因此在⾼并发业务场景下,宁愿保持挂载也不使⽤autofs⾃动挂载。 

autofs工作原理主要基于以下几个关键概念和步骤:

1. 挂载点和配置

autofs 通过配置文件来定义挂载点以及每个挂载点所对应的具体文件系统。最常用的配置文件是 /etc/auto.master 和相应的子配置文件(如 /etc/auto.mnt)。在这些文件中,你可以指定需要自动挂载的目录及其挂载选项。

2. 事件驱动

autofs 的核心原理是事件驱动。当用户尝试访问一个未挂载的目录时,autofs 会检测到这个访问请求并触发挂载操作。这种机制使得只有在需要时才会挂载文件系统,从而节省了系统资源。

3. 后台守护进程

autofs 由一个后台守护进程运行,通常为 automountd。该守护进程负责监视挂载请求,并根据配置文件中的设定自动执行挂载和卸载操作。

4. 超时机制

一旦文件系统被挂载,autofs 会启动一个超时计时器。如果在预设的时间内没有任何对该挂载点的访问,autofs 将自动卸载该文件系统。这一特性可以减少不必要的资源占用,同时提高系统性能。

5. 挂载方式

在挂载时,autofs 会调用相应的挂载命令(如 mount),并使用配置文件中指定的选项进行挂载。例如,对于 NFS,可以指定远程服务器和共享路径。

6. 错误处理

当发生错误(如网络问题)导致挂载失败时,autofs 能够处理这些错误,并根据配置中的选项决定如何响应,例如是否重试或返回错误信息。

autofs 的设计理念是将挂载操作与用户的实际需求紧密结合,通过事件驱动和超时机制实现高效的资源管理。其主要优点包括:

  • 节省资源:仅在需要时挂载文件系统。
  • 简化用户操作:用户无需手动挂载或卸载文件系统。
  • 自动管理:能够自动卸载不再使用的文件系统。

这种机制特别适合于需要频繁访问网络文件系统(如 NFS)的环境,提高了访问效率和用户体验。

7. 配置autofs

autofs 是一种用于自动挂载文件系统的工具,通常用于在 Linux 系统上动态挂载 NFS 或其他类型的文件系统。它使用主配置文件和子配置文件来定义挂载规则和行为。

主配置文件格式

主配置文件通常位于 /etc/auto.master,其格式如下:

/path/to/mountpoint /etc/auto.subfile --timeout=60

解释:

  • /path/to/mountpoint:指定要挂载的目录(挂载点)。

  • /etc/auto.subfile:指向包含子配置的文件。

  • --timeout=60:可选参数,设置超时时间,表示在闲置 60 秒后卸载挂载点。

子配置文件格式

子配置文件的格式通常是在指定的文件中定义,假设为 /etc/auto.subfile,其格式如下:

key -options nfs_server:/path/to/share

解释:

  • key:挂载点的关键字,通常是该挂载点的名称,它将成为 /path/to/mountpoint/key 的实际挂载点。

  • -options:挂载选项,如 rw(读写)、ro(只读)等。

  • nfs_server:/path/to/share:指定要挂载的 NFS 服务器及共享路径。

示例

主配置文件 (/etc/auto.master)

/mnt/nfs /etc/auto.nfs --timeout=60

子配置文件 (/etc/auto.nfs)

data1 -fstype=nfs,rw nfs_server:/export/data1 data2 -fstype=nfs,ro nfs_server:/export/data2

在这个示例中,当访问 /mnt/nfs/data1 时,autofs 会自动挂载 nfs_server:/export/data1,并且允许读写;访问 /mnt/nfs/data2 时,则会自动挂载 nfs_server:/export/data2,但为只读模式。

总结

  • 主配置文件:定义了挂载点和关联的子配置文件,以及一些全局选项。

  • 子配置文件:定义具体的挂载规则,包括挂载的关键字、选项和目标资源。

7.1 安装autofs

        客户端安装即可

yum -y install autofs

        注意,刚才做NFS实验时,服务端和客户端都下载rpcbindnfs-utils ,如果没下再次下载即可

yum -y install nfs-utils rpcbind

        本次autofs实验是基于上面NFS的,所以我们的autofs结合NFS一同实现自动挂载,服务端基本不变,我们主要修改客户端配置。先配置服务端,这里就不多讲了,和前面类似。

        记得做好防火墙和selinux的相关配置,并且确保相关服务都开启了。

7.2 服务端配置
mkdir -p /usr/elysia
chmod 777 /usr/elysia
echo "/usr/elysia 192.168.240.*(rw,sync,no_root_squash)" >> /etc/exports
exportfs -rv
[root@node1 elysia]# exportfs -rv
exporting 192.168.240.*:/mnt/shared
exporting 192.168.240.*:/usr/elysia
7.3 客户端配置

(1). 使用showmount命令查看服务端的可共享目录。

showmount -e 192.168.240.151
[root@node2 ~]# showmount -e 192.168.240.151
Export list for 192.168.240.151:
/mnt/shared 192.168.240.*
/usr/seele  192.168.240.*
/usr/elysia 192.168.240.* #目标目录

        包含了我们服务端创建的/usr/elysia目录。

(2). 修改主配置文件

vim /etc/auto.master
加入以下行
/data   /etc/auto.misc #/data是我们想要挂载的目录的父目录

(3). 修改子配置文件

vim /etc/auto.misc
加入以下行
elysia  -rw     192.168.240.151:/usr/elysia

        注意,子配置文件的命名不一定要以".misc"为后缀。成功挂载并且cd后会自动生成/data/elysia目录

(4). 重启autofs服务

systemctl restart autofs

(5). 测试

        客户端切换到/data目录,查看是否存在/data/elysia

[root@node2 ~]# df -h | grep elysia
[root@node2 ~]#                    #不存在

        cd到/data/elysia。

[root@node2 ~]# df -h | grep elysia
[root@node2 ~]# cd /data/elysia
[root@node2 elysia]# df -h | grep elysia
192.168.240.151:/usr/elysia   18G  5.1G   13G  29% /data/elysia
#出现挂载目录,auto配置完成
7.4 补充:
/etc/auto.master配置可选参数
参数实现功能
fg/bgfg表示挂载行为在前台执行,bg表示挂载行为在后台执行。前台执行,则mount会持续尝试挂载,直到成功或超时为止。后台执行,mount会在后台持续多次进行mount,不会影响到前台的程序运行。
soft/hardhard表示当两者之间的任何一台主机脱机,则RPC会持续地呼叫,直到对方恢复连接为止。如果是soft的话,那RPC会在超时后重复呼叫,非持续呼叫
intr当使用hard方式挂载时,若加上intr这个参数,则当RPC持续呼叫时,该次的呼叫是可以被中断的
rsize/wsize读出(rsize)与写入(wsize)的区块大小,设置值可以影响客户端与服务器端传输数据的缓冲记忆容量

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/441006.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

求矩阵的鞍点

题目&#xff1a;求一个矩阵的鞍点&#xff0c;即行上最小而列上最大的元素。 代码&#xff1a;&#xff08;多个最小值认为第一个为最小&#xff0c;更严谨的代码在最后&#xff09; #include<iostream> #include<time.h> using namespace std;int main(){int n…

【Qt】控件概述(7)—— 布局管理器

布局管理器 1. 布局管理器2. QVBoxLayout——垂直布局3. QHBoxLayout——水平布局4. QGridLayout——网格布局5. QFormLayout——表单布局6. QSpacer 1. 布局管理器 在我们之前值ui界面进行拖拽设置控件时&#xff0c;都是通过手动的控制控件的位置的。同时每个控件的位置都是…

贪心算法c++

贪心算法C概述 一、贪心算法的基本概念 贪心算法&#xff08;Greedy Algorithm&#xff09;&#xff0c;又名贪婪法&#xff0c;是一种解决优化问题的常用算法。其基本思想是在问题的每个决策阶段&#xff0c;都选择当前看起来最优的选择&#xff0c;即贪心地做出局部最优的决…

实验OSPF路由协议(课内实验)

实验1&#xff1a;OSPF路由协议 实验目的及要求&#xff1a; 通过实验&#xff0c;能够理解链路状态型路由协议OSPF协议的工作原理&#xff0c;掌握如何实现单区域 OSPFv2配置指令&#xff0c;能够熟练的应用各种OSPF协议相关的配置指令完善网络设计。掌握验证OSPFv2网络连接…

Linux启动mysql报错

甲方公司意外停电&#xff0c;所有服务器重启后&#xff0c;发现部署在Linux上的mysql数据库启动失败.再加上老员工离职&#xff0c;新接手项目&#xff0c;对Linux系统了解不多&#xff0c;解决起来用时较多&#xff0c;特此记录。 1.启动及报错 1.1 启动语句1 启动语句1&a…

利用 OpenAI 和 Python 预测股市行情

作者:老余捞鱼 原创不易,转载请标明出处及原作者。 写在前面的话: 本文介绍了如何利用 OpenAI 和 Python 进行股市情绪预测。主要通过使用 EODHD 提供的股市和金融新闻 API 来提取新闻数据,并利用 LangChain 和 OpenAI 的大型语言模型进行情感分析。 一、综述 …

Eureka的搭建、注册和拉取

目录 搭建 动手实践 搭建EurekaServer 创建项目 编写启动类 添加application.yml文件 启动EurekaApplication ​编辑 总结 搭建EurekaServer 注册 将user-service服务注册到EurekaServer 将order-service服务注册到EurekaServer 重启order-service和user-service…

将自己写好的项目部署在自己的云服务器上

准备工作 这里呢我要下载的终端软件是Xshell 如图&#xff1a; 自己准备好服务器&#xff0c;我这里的是阿里云的服务器&#xff0c; 如图&#xff1a; 这两个准备好之后呢&#xff0c;然后对我们的项目进行打包。 如图&#xff1a; 这里双击打包就行了。 找到自己打成jar包…

Linux shell编程学习笔记85:fold命令——让文件瘦身塑形显示

0 引言 我们使用的电脑屏幕有宽有窄&#xff0c;我们有时候希望文件能按照我们的屏幕宽度来调整和匹配&#xff0c;这时我们可以使用fold命令。 1 fold命令 的帮助信息、功能、命令格式、选项和参数说明 1.1 fold 命令 的帮助信息 我们可以输入命令 fold--help 来查看fold …

[uni-app]小兔鲜-08云开发

uniCloud可以通过JS开发服务端,包含云数据库, 云函数, 云存储等功能, uniCloud可结合 uni-ui 组件库使用 效果展示: <picker>城市选择组件不支持h5端和APP端, 所以我们使用 <uni-data-picker>组件进行兼容处理 <uni-data-picker>的数据使用云数据库的数据 云…

Docker安装及使用记录

本文汇总一下 Docker 的安装过程和使用过程中的问题 安装过程 Windows Linux 更新软件源&#xff1a;Linux安装前可先更新以下各自发行版包管理器的软件源 卸载旧版本&#xff1a;如果之前安装过的话&#xff0c;可以先卸载 yum remove docker docker-common docker-sel…

Study-Oracle-10-ORALCE19C-RAC集群维护

一路走来,所有遇到的人,帮助过我的、伤害过我的都是朋友,没有一个是敌人。 一、RAC的逻辑架构与进程 1、RAC 与单实例进程的对比 2、RAC相关进程功能 3、在主机查看RAC后台进程 快捷键设置 alias sqlplus=rlwrap sqlplus alias rman=rlwrap rman alias crsctl=/u01/app…

Android Automotive(一)

目录 什么是Android Automotive Android Automotive & Android Android Automotive 与 Android Auto 什么是Android Automotive Android Automotive 是一个基础的 Android 平台,它能够运行预装的车载信息娱乐系统(IVI)应用程序,以及可选的二方和三方 Android 应用程…

C(十五)函数综合(一)--- 开公司吗?

在这篇文章中&#xff0c;杰哥将带大家 “开公司”。 主干内容部分&#xff08;你将收获&#xff09;&#xff1a;&#x1f449; 为什么要有函数&#xff1f;函数有哪些&#xff1f;怎么自定义函数以及获得函数的使用权&#xff1f;怎么对函数进行传参&#xff1f;函数中变量的…

Python和R及Julia妊娠相关疾病生物剖析算法

&#x1f3af;要点 算法使用了矢量投影、现代优化线性代数、空间分区技术和大数据编程利用相应向量空间中标量积和欧几里得距离的紧密关系来计算使用妊娠相关疾病&#xff08;先兆子痫&#xff09;、健康妊娠和癌症测试算法模型使用相关性投影利用相关性和欧几里得距离之间的关…

C++(Qt)软件调试---内存调试器Dr.Memory(21)

C(Qt)软件调试—内存调试器Dr. Memory&#xff08;21&#xff09; 文章目录 C(Qt)软件调试---内存调试器Dr. Memory&#xff08;21&#xff09;[toc]1、概述&#x1f41c;2、安装Dr.Memory&#x1fab2;3、命令行使用Dr.Memory&#x1f997;4、Qt Creator集成使用Dr.Memory&…

MFC工控项目实例二十三模拟量输入设置界面

承接专栏《MFC工控项目实例二十二主界面计数背景颜色改变》 1、在SenSet.h文件中添加代码 #include "BtnST.h" #include "ShadeButtonST.h"/ // SenSet dialogclass SenSet : public CDialog { // Construction public:SenSet(CWnd* pParent NULL); //…

2024Java最新面试题总结(针对于一些小厂、中厂)

这是根据个人面试经历总结出来的一些经验希望可以帮助到有需要的人。 面试的时候&#xff0c;会先让你进行自我介绍&#xff0c;这个大家准备一两分钟的面试稿就可以。然后就是正式面试&#xff0c;面试官一般是两个人以上&#xff0c;开始&#xff0c;面试官会先提问一些基本…

NLP任务之预测最后一个词

目录 1.加载预训练模型 2 从本地加载数据集 3.数据集处理 4.下游任务模型 5.测试代码 6.训练代码 7.保存训练好的模型 8. 加载 保存的模型 1.加载预训练模型 #加载预训练模型 from transformers import AutoTokenizer#预训练模型&#xff1a;distilgpt2 #use_fast…

Sharding 分页原理分析

优质博文&#xff1a;IT-BLOG-CN 如果业务上需要执行如下分页查询&#xff0c;Sharding-JDBC如何执行分页查询的&#xff1f; 官方文档 select * from student_time ORDER BY create_time ASC limit 1000, 5;Sharding-JDBC分页查询时在每个分表中都查询1005条数据&#xff0c…