Linux dd 命令详解:工作原理与实用指南(C/C++代码实现)

这段代码是一个模仿 Linux dd 命令的工具,它用于在不同文件之间复制数据。dd 是一个非常强大的命令行工具,可以用于数据备份、转换和复制。下面我将详细解释这段代码的原理、实现方式以及如何运行和测试。

Linux dd 命令的工作原理

dd 命令是 Unix 和 Linux 系统中非常强大的文件复制和转换工具。它通过指定块大小(block size)来读取和写入数据,实现高效的文件或设备复制。dd 命令不仅能够处理普通文件,还能直接操作设备文件,这使得它在系统备份、恢复和数据克隆等任务中非常有用。

  1. 基本语法dd if=输入文件 of=输出文件 [选项]

    • if:指定输入文件名或设备名。
    • of:指定输出文件名或设备名。
    • [选项]:各种可选参数,用于控制复制行为。
  2. 常用选项

    • bs:设置读写的块大小。例如:bs=4M
    • count:复制的块数。例如:count=1
    • conv:指定数据转换选项,如 conv=sync 确保同步模式。
    • status=progress:显示详细的进度信息。
  3. 工作流程

    • 打开源和目标文件/设备:dd 命令会先尝试打开指定的输入和输出文件或设备。
    • 按块读取和写入:根据指定的块大小(bs),dd 从输入文件或设备读取数据,并写入到输出文件或设备中。
    • 数据处理:在读写过程中,dd 可以根据指定的转换选项对数据进行处理,如大小写转换、字节顺序转换等。
    • 重复操作:上述过程会根据指定的块数(count)反复进行,直到完成所有数据的复制或转换。

命令行使用

dd 的基本命令行格式如下:

dd if=<input_file> of=<output_file> [其他参数]
  • if:指定输入文件。
  • of:指定输出文件。

以下是一些常用的参数示例:

  • bs:设置块大小,例如 bs=1024
  • count:设置复制的块数,例如 count=10
  • skip:设置跳过的块数,例如 skip=5
  • seek:设置输出文件中跳过的块数,例如 seek=5

示例

复制一个文件的前 10MB 到另一个文件:

dd if=/dev/zero of=example.img bs=1M count=10

将一个磁盘分区备份到另一个磁盘分区:

dd if=/dev/sda of=/dev/sdb

基本文件复制:

dd if=inputfile of of=outputfile bs=64K count=1

将 inputfile 复制到 outputfile,每次读取和写入 64KB 的数据块,只复制一个块。

备份和还原硬盘:

dd if=/dev/sda of=/path/to/backup.img bs=4M 
dd if=/path/to/backup.img of=/dev/sdb bs=4M 

将整个硬盘 /dev/sda 备份到 backup.img 文件中,然后将 backup.img 还原到 /dev/sdb。

创建镜像文件:

dd if=/dev/zero of=imagefile.img bs=1G count=10

创建一个名为 imagefile.img 的 10GB 镜像文件,内容全为零。

制作启动盘:

dd if=boot.img of=/dev/sdb bs=4M 

将 boot.img 写入到 USB 设备 /dev/sdb,制作可启动的 USB 盘。

擦除硬盘数据:

dd if=/dev/urandom of of=/dev/sda bs=4M 

使用随机数据覆盖整个硬盘,确保数据无法恢复。

日常定位分析

dd 命令在系统恢复、数据恢复和磁盘克隆等场景中非常有用。例如,当你需要从一个损坏的文件系统中恢复数据时,可以使用 dd 来复制文件系统的一部分到另一个健康的磁盘上,然后对复制的数据进行分析和恢复。

三、dd 命令在实际工作中的定位与分析

dd 命令因其强大的功能和灵活性,在系统管理和运维工作中有着广泛的应用场景。以下是几个典型的应用场景及其分析:

  1. 系统备份与恢复

    • 场景:定期备份服务器上的硬盘或分区,以防数据丢失或系统故障。
    • 分析:通过 dd 命令,可以创建整个硬盘或分区的镜像文件,方便存储和快速恢复。此外,还可以使用压缩工具(如 gzip)进一步减小镜像文件的大小。
  2. 数据克隆和迁移

    • 场景:在更换硬盘或迁移数据时,需要将旧硬盘上的数据完整复制到新硬盘。
    • 分析:dd 命令可以直接操作设备文件,无需经过文件系统,从而提高数据复制的效率和可靠性。这对于大规模数据迁移尤其有用。
  3. 制作启动盘和恢复盘

    • 场景:需要制作可启动的 USB 盘或 CD/DVD,用于系统安装或故障排查。
    • 分析:dd 命令可以将 ISO 镜像文件直接写入到 USB 或光盘设备,操作简单且高效。这在紧急情况下尤为重要,如系统崩溃后的恢复工作。
  4. 安全删除数据

    • 场景:需要彻底删除敏感数据,确保无法通过恢复工具找回。
    • 分析:通过用随机数据覆盖硬盘,可以有效防止数据被恢复。这种方法比单纯的文件删除更为安全,适用于处理包含敏感信息的硬盘。
  5. 性能测试

    • 场景:测试磁盘的读写速度,评估存储设备的性能。
    • 分析:dd 命令可以生成大规模的测试数据,并通过计时等方式测量磁盘的读写速度。这对于存储设备的选型和性能优化具有重要参考价值。

Linux dd 命令详解:工作原理与实用指南(C/C++代码实现)

size_t free_mem()
{uint64_t n = 0;char buf[1024], found = 0;FILE *f = fopen("/proc/meminfo", "r");if (!f)return 1024*1024;memset(buf, 0, sizeof(buf));for (;!feof(f);) {fgets(buf, sizeof(buf), f);if (strstr(buf, "MemFree:")) {found = 1;break;}}fclose(f);if (!found)return 1024*1024;n = strtoul(buf + 9, NULL, 10);if (!n)return 1024*1024;/* kB? */if (strchr(buf + 9, 'k'))n <<= 10;else if (strchr(buf + 9, 'M'))n <<= 20;return n/2;
}...#ifdef ANDROIDint copy_splice(struct dd_config *);int copy_splice_cores(struct dd_config *ddc)
{return copy_splice(ddc);
}#else
int copy_splice_cores(struct dd_config *ddc)
{int ifd, ofd, p[2] = {-1, -1};ssize_t r = 0, cpu_size = 0;size_t n = 0, min_bs = 4096;cpu_set_t *cpu_set = NULL;if (prepare_copy(ddc, &ifd, &ofd) < 0)return -1;if ((cpu_set = CPU_ALLOC(2)) == NULL) {close(ifd); close(ofd);return -1;}cpu_size = CPU_ALLOC_SIZE(2);CPU_ZERO_S(cpu_size, cpu_set);if (pipe(p) < 0) {ddc->saved_errno = errno;close(ifd); close(ofd);close(p[0]); close(p[1]);return -1;}#ifdef F_SETPIPE_SZfor (n = 29; n >= 20; --n) {if (fcntl(p[0], F_SETPIPE_SZ, 1<<n) != -1)break;}
#endifn = ddc->bs;if (fork() == 0) {/* bind to CPU#0 */CPU_SET_S(ddc->cores - 1, cpu_size, cpu_set);sched_setaffinity(0, cpu_size, cpu_set);close(p[0]);for (;ddc->b_in != ddc->count && !sigint;) {if (n > ddc->count - ddc->b_in)n = ddc->count - ddc->b_in;r = splice(ifd, NULL, p[1], NULL, n, SPLICE_F_MORE|SPLICE_F_NONBLOCK);if (r == 0)break;if (r < 0) {if (errno != EAGAIN)break;/* If running out of pipe buffer, decrease bs */r = 0;n = min_bs;}ddc->b_in += r;}exit(0);}/* bind to CPU#1 */CPU_SET_S(ddc->cores - 2, cpu_size, cpu_set);sched_setaffinity(0, cpu_size, cpu_set);for (;ddc->b_out != ddc->count;) {r = splice(p[0], NULL, ofd, NULL, n, SPLICE_F_MORE);if (r <= 0) {ddc->saved_errno = errno;break;}ddc->b_out += r;++ddc->rec_out;}ddc->rec_in = ddc->rec_out;close(ifd);close(ofd);close(p[0]);close(p[1]);wait(NULL);if (r < 0)return -1;return 0;
}
#endifint copy_splice(struct dd_config *ddc)
{
...if (prepare_copy(ddc, &ifd, &ofd) < 0)return -1;if (pipe(p) < 0) {ddc->saved_errno = errno;close(ifd); close(ofd);close(p[0]); close(p[1]);return -1;}#ifdef F_SETPIPE_SZfor (n = 29; n >= 20; --n) {if (fcntl(p[0], F_SETPIPE_SZ, 1<<n) != -1)break;}
#endifn = ddc->bs;for (;ddc->b_out != ddc->count && !sigint;) {if (n > ddc->count - ddc->b_out)n = ddc->count - ddc->b_out;r = splice(ifd, NULL, p[1], NULL, n, SPLICE_F_MORE);if (r <= 0) {ddc->saved_errno = errno;break;}++ddc->rec_in;r = splice(p[0], NULL, ofd, NULL, r, SPLICE_F_MORE);if (r <= 0) {ddc->saved_errno = errno;break;}ddc->b_out += r;++ddc->rec_out;}close(ifd);close(ofd);close(p[0]);close(p[1]);if (r < 0)return -1;return 0;
}int copy_mmap(struct dd_config *ddc)
{
...if (prepare_copy(ddc, &ifd, &ofd) < 0)return -1;if (ddc->fsize != (off_t)-1) {if (ftruncate(ofd, ddc->fsize) < 0) {ddc->saved_errno = errno;close(ifd);close(ofd);return -1;}}for (;ddc->b_out != ddc->count && !sigint;) {n = ddc->mmap;bs = ddc->bs;if (n > ddc->count - ddc->b_out)n = ddc->count - ddc->b_out;if (bs > n)bs = n;if (ddc->fsize == (off_t)-1) {if (ftruncate(ofd, ddc->b_out + n) < 0) {ddc->saved_errno = errno;break;}}addr = mmap(NULL, n, PROT_WRITE, MAP_SHARED, ofd, ddc->b_out + ddc->skip);if (addr == MAP_FAILED) {ddc->saved_errno = errno;break;}for (i = 0; i < n; i += r) {if (i + bs > n)bs = n - i;r = read(ifd, addr + i, bs);if (r <= 0) {ddc->saved_errno = errno;munmap(addr, n);break;}ddc->b_out += r;++ddc->rec_in;}...}if (ddc->fsize != ddc->b_out)ftruncate(ofd, ddc->b_out);close(ifd);close(ofd);if (r < 0 || addr == MAP_FAILED)return -1;return 0;
}int copy_sendfile(struct dd_config *ddc)
{
...off = ddc->skip;n = ddc->bs;for (;ddc->b_out < ddc->count && !sigint;) {if (n > ddc->count - ddc->b_out)n = ddc->count - ddc->b_out;r = sendfile(ofd, ifd, &off, n);if (r < 0) {ddc->saved_errno = errno;ret = -1;break;}++ddc->rec_in; ++ddc->rec_out;ddc->b_in += r;ddc->b_out += r;}close(ifd);close(ofd);return ret;
}int copy(struct dd_config *ddc)
{
...if (ddc->cores)r = copy_splice_cores(ddc);else if (ddc->mmap)r = copy_mmap(ddc);else if (ddc->sf)r = copy_sendfile(ddc);elser = copy_splice(ddc);ddc->t_end = time(NULL);/* 避免div为零 */if (ddc->t_start == ddc->t_end)++ddc->t_end;return r;
}void print_stat(const struct dd_config *ddc)
{
...#ifdef ANDROIDfprintf(stderr, "%llu records in\n%llu records out\n%llu bytes (%llu MB) copied, %lu s, %f MB/s [%f mB/s]\n",ddc->rec_in, ddc->rec_out, ddc->b_out, ddc->b_out/(1<<20),ddc->t_end - ddc->t_start,((double)(ddc->b_out/(1<<20)))/(ddc->t_end - ddc->t_start),((double)(ddc->b_out/(1000*1000)))/(ddc->t_end - ddc->t_start));
#elsefprintf(stderr, "%lu records in\n%lu records out\n%lu bytes (%lu MB) copied, %lu s, %f MB/s [%f mB/s]\n",ddc->rec_in, ddc->rec_out, ddc->b_out, ddc->b_out/(1<<20),ddc->t_end - ddc->t_start,((double)(ddc->b_out/(1<<20)))/(ddc->t_end - ddc->t_start),((double)(ddc->b_out/(1000*1000)))/(ddc->t_end - ddc->t_start));
#endif}void sig_int(int x)
{fprintf(stderr, "SIGINT! Aborting ...\n");sigint = 1;return;
}int main(int argc, char **argv)
{
...config.bs = 1<<16;config.in = "/dev/stdin";config.out = "/dev/stdout";/* 模拟“dd”参数解析 */for (i = 1; i < argc; ++i) {if (strcmp(argv[i], "-h") == 0 ||strcmp(argv[i], "--help") == 0)usage(argv[0]);memset(buf, 0, sizeof(buf));if (sscanf(argv[i], "if=%1023c", buf) == 1)config.in = strdup(buf);else if (sscanf(argv[i], "of=%1023c", buf) == 1)config.out = strdup(buf);else if (sscanf(argv[i], "skip=%1023c", buf) == 1)config.skip = strtoul(buf, NULL, 10);else if (sscanf(argv[i], "seek=%1023c", buf) == 1)config.seek = strtoul(buf, NULL, 10);else if (sscanf(argv[i], "count=%1023c", buf) == 1)config.count = strtoul(buf, NULL, 10);else if (sscanf(argv[i], "mmap=%1023c", buf) == 1) {if (!config.cores) {/* Size in MB */config.mmap = strtoul(buf, NULL, 10);config.mmap <<= 20;}} else if (sscanf(argv[i], "cores=%1023c", buf) == 1) {config.cores = strtoul(buf, NULL, 10);if (config.cores < 2)config.cores = 2;config.mmap = 0;} else if (strcmp(argv[i], "send") == 0) {config.sf = 1;} else if (strcmp(argv[i], "direct") == 0) {config.direct = 1;} else if (sscanf(argv[i], "bs=%1023c", buf) == 1) {config.bs = strtoul(buf, NULL, 10);} else if (strcmp(argv[i], "bs") == 0) {config.bs = 0;} else if (strcmp(argv[i], "quiet") == 0) {config.quiet = 1;} else if (strcmp(argv[i], "nosync") == 0) {config.nosync = 1;}}...return 0;
}

If you need the complete source code, please add the WeChat number (c17865354792)

编译完成后,你可以使用以下命令行参数来测试它:

./linux_dd if=<input_file> of=<output_file> [其他参数]

例如,你可以使用以下命令来复制一个文件:

./linux_dd if=/dev/stdin of=/dev/stdout bs=1024 count=1024

这个命令会从标准输入读取数据,并将数据写入到标准输出,每次复制 1024 字节,总共复制 1024 次。

代码中提供了多种复制策略:

  1. splice(2):使用 Linux 的 splice 系统调用来在管道和文件之间传输数据,这种方式可以有效地利用内核缓冲区,减少数据复制过程中的上下文切换。

  2. mmap(2):通过内存映射的方式直接在内存中操作文件数据,这种方式适用于大块数据的复制。

  3. sendfile(2):在内核层面直接将数据从一个文件描述符传输到另一个,减少了数据在用户空间的拷贝。

  4. 多核处理:代码还支持将数据复制任务分配到多个 CPU 核心上,以提高复制效率。

补充内容

  1. 安全性:在使用 dd 时,一定要小心指定正确的输入和输出文件,错误的命令可能会导致数据丢失。
  2. 效率:选择合适的块大小可以显著影响 dd 的性能。通常,较大的块大小可以提高复制速度。
  3. 错误处理dd 命令在执行过程中可能会遇到错误,了解如何解读错误信息对于解决问题至关重要。
  4. 日志记录dd 命令执行时可以重定向输出到日志文件,以便于事后分析。
  5. 进度监控:可以通过 status=progress 参数来监控 dd 命令的执行进度。

结语

dd 命令是一个功能强大的工具,它在 Linux 系统中扮演着重要的角色。了解其工作原理和使用方法,可以帮助你更有效地管理和操作数据。在使用时,务必谨慎,以避免不必要的数据损失。

Welcome to follow WeChat official account【程序猿编码

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/492000.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++游记】string的使用和模拟实现

枫の个人主页 你不能改变过去&#xff0c;但你可以改变未来 算法/C/数据结构/C Hello&#xff0c;这里是小枫。C语言与数据结构和算法初阶两个板块都更新完毕&#xff0c;我们继续来学习C的内容呀。C是接近底层有比较经典的语言&#xff0c;因此学习起来注定枯燥无味&#xf…

飞牛 fnos 上用docker部署一款网页端办公系统

描述 一款高效的内网办公操作系统&#xff0c;内含word/excel/ppt/pdf/内网聊天/白板/思维导图等多个办公系统工具&#xff0c;支持原生文件存储。平台界面精仿windows风格&#xff0c;操作简便&#xff0c;同时保持低资源消耗和高性能运行。无需注册即可自动连接内网用户&…

【网络安全】网站常见安全漏洞—服务端漏洞介绍

文章目录 网站常见安全漏洞—服务端漏洞介绍引言1. 第三方组件漏洞什么是第三方组件漏洞&#xff1f;如何防范&#xff1f; 2. SQL 注入什么是SQL注入&#xff1f;如何防范&#xff1f; 3. 命令执行漏洞什么是命令执行漏洞&#xff1f;如何防范&#xff1f; 4. 越权漏洞什么是越…

单元测试-Unittest框架实践

文章目录 1.Unittest简介1.1 自动化测试用例编写步骤1.2 相关概念1.3 用例编写规则1.4 断言方法 2.示例2.1 业务代码2.2 编写测试用例2.3 生成报告2.3.1 方法12.3.2 方法2 1.Unittest简介 Unittest是Python自带的单元测试框架&#xff0c;适用于&#xff1a;单元测试、Web自动…

C++动态规划解决最长公共子序列

动规非常经典的一道题目&#xff0c;由于需要用到二维数组——姑且算为中等难度的题目&#xff0c;其实和01背包有着极高的相似度&#xff0c;无论是实现还是理论。 今天这篇博客不讲过多的DP理论&#xff0c;重在讲解题目本身。其实有一定经验的同志都清楚&#xff0c;DP的难点…

学习日志024--opencv中处理轮廓的函数

目录 前言​​​​​​​ 一、 梯度处理的sobel算子函数 功能 参数 返回值 代码演示 二、梯度处理拉普拉斯算子 功能 参数 返回值 代码演示 三、Canny算子 功能 参数 返回值 代码演示 四、findContours函数与drawContours函数 功能 参数 返回值 代码演示 …

《Modern CMake for C++》学习笔记

学习 Modern CMake for C - Second Edition 时的学习笔记&#xff0c;供大家参考。 相关资源&#xff1a; 原书链接&#xff1a; Modern CMake for C: Effortlessly build cutting-edge C code and deliver high-quality solutions , Second Edition 中文翻译链接&#xff1a…

实战 | 某院校小程序记录

更多大厂面试经验的视频分享看主页和专栏 目录&#xff1a; 前言&#xff1a; 渗透思路 1.绕过前端 2.信息泄露 3.爆破用户账号密码 4.信息泄露2 结束 前言&#xff1a; 遇到一个学校小程序的站点&#xff0c;只在前端登录口做了校验&#xff0c;后端没有任何校验&#x…

Visual studio的AI插件-通义灵码

通义灵码 TONGYI Lingma 兼容 Visual Studio、Visual Studio Code、JetBrains IDEs 等主流 IDE&#xff1b;支持 Java、Python、Go、C/C、C#、JavaScript、TypeScript、PHP、Ruby、Rust、Scala 等主流编程语言。 安装 打开扩展管理器&#xff0c;搜送“TONGYI Lingma”&…

【泛微系统】HR同步功能实例讲解

HR同步功能实例讲解\ 前言 HR同步是指ecology与专业的人事管理软件进行数据同步的功能,ecology中的组织结构和人员信息将完全取自HR软件。 官方HR同步功能解释 实例背景 客户本身有外购EHR系统用于员工的入转调离的基础信息管理,现又外购泛微的OA系统用于企业信息协同办…

【测试】Pytest

建议关注、收藏&#xff01; 目录 功能pytest 自动化测试工具。 功能 单元测试&#xff1a;用于验证代码的最小功能单元&#xff08;如函数、方法&#xff09;的正确性。 简单的语法&#xff1a;不需要继承特定类或使用复杂的结构。断言语句简化。 自动发现测试&#xff1a;P…

实验12 socket网络编程

设计程序 1&#xff0e;阅读TCP、UDP数据通信的例子8-2、8-7&#xff0c;理解并运行查看其功能。 2. 编写程序&#xff0c;使用socket网络接口函数&#xff0c;实现同一网段的两台主机的聊天。注&#xff1a;使用多线程&#xff0c;实现实时聊天功能。&#xff08;使用UDP或TCP…

【LeetCode】2406、将区间分为最少组数

【LeetCode】2406、将区间分为最少组数 文章目录 一、数据结构-堆、贪心1.1 数据结构-堆、贪心1.2 多语言解法 二、扫描线2.1 扫描线 一、数据结构-堆、贪心 1.1 数据结构-堆、贪心 题目已知一些区间, 需要尽量合并, 使 组 最少. 可以用图解画一下 因为尽量合并, 为了紧凑, …

【Python】利用函数模拟创建【栈】的数据结构操作

知识解读&#xff1a;来自&#xff1a;https://fishc.com.cn[#FwSB,M 9xKOA!^6fP)_EC(nsd什么是栈呢&#xff1f;Powered by https://fishc.com.cn3>A?5JXL#_}YBGD"FWdubKeyhQP栈是一种具有 FILO 特性的数据结构&#xff0c;即先放入的数据反而后取出。e&"%b…

JAVA入门:使用IDE开发

JAVA入门:使用IDE开发 什么是IDE IDE(Integrated Development Environment,集成开发环境)是一种软件应用程序,它为程序开发、软件设计、项目管理等提供全面的设施。 简单来说就是简化开发过程,让编程更加方便。 IDEA 业界公认最好用的JAVA IDE 安装IDEA 打开IDEA官…

机器学习《西瓜书》学习笔记《待续》

如果说&#xff0c;计算机科学是研究关于“算法”的学问&#xff0c;那么机器学习就是研究关于“学习算法”的学问。 目录 绪论引言基本术语 扩展向量的张成-span使用Markdown语法编写数学公式希腊字母的LaTex语法插入一些数学的结构插入定界符插入一些可变大小的符号插入一些函…

o1 Pro模型架构揭秘与 Scaling Law 深度解析 | Claude 3.5 Opus、草莓训练、推理成本剖析

引言 近期&#xff0c;Semianalysis 发布了一篇重磅万字长文&#xff0c;首次披露 OpenAI 的 o1 Pro 模型架构与推理训练方法&#xff0c;同时深入探讨了当前 AI 领域的重要话题&#xff1a; Claude 3.5 Opus 是否失败&#xff1f;Scaling Laws&#xff08;扩展法则&#xff…

流程引擎Activiti性能优化方案

流程引擎Activiti性能优化方案 Activiti工作流引擎架构概述 Activiti工作流引擎架构大致分为6层。从上到下依次为工作流引擎层、部署层、业务接口层、命令拦截层、命令层和行为层。 基于关系型数据库层面优化 MySQL建表语句优化 Activiti在MySQL中创建默认字符集为utf8&…

labml.ai Deep Learning Paper Implementations (带注释的 PyTorch 版论文实现)

labml.ai Deep Learning Paper Implementations {带注释的 PyTorch 版论文实现} 1. labml.ai2. labml.ai Deep Learning Paper Implementations3. Sampling Techniques for Language Models (语言模型的采样技术)4. Multi-Headed Attention (MHA)References 1. labml.ai https…

qemu源码解析【04】qom实例

目录 qemu源码解析【04】qom实例1. type_init()宏2. type_register_static()宏3. arm_sbcon_i2c_init()何时被qemu系统调用 qemu源码解析【04】qom实例 qemu源码解析【总目录】 继续分析arm_sbcon_i2c实例&#xff0c;代码从行尾往上逐步分析 #include "qemu/osdep.h&q…