如何在C程序中使用libcurl库下载网页内容

亿牛云.png

概述

爬虫是一种自动获取网页内容的程序，它可以用于数据采集、信息分析、网站监测等多种场景。在C语言中，有一个非常强大和灵活的库可以用于实现爬虫功能，那就是libcurl。libcurl是一个支持多种协议和平台的网络传输库，它提供了一系列的API函数，可以让开发者方便地发送和接收HTTP请求。

本文将介绍如何在C程序中使用libcurl库下载网页内容，并保存到本地文件中。同时，为了避免被目标网站封禁IP，我们还将使用代理IP技术，通过不同的IP地址访问网站。我们将参考爬虫代理的域名、端口、用户名、密码，来获取可用的代理IP。最后，我们将使用自定义写入回调函数，来处理网页内容的写入操作。

正文

1. 安装和配置libcurl库

要使用libcurl库，首先需要下载并安装它。我们可以从官网下载最新版本的源码包，也可以使用包管理器来安装预编译的二进制包。以Windows平台为例，我们可以使用Visual Studio命令行工具来编译libcurl库。具体步骤如下：

  • 下载并解压libcurl源码包
  • 打开Visual Studio命令行工具，并切换到源码包的winbuild目录下
  • 执行编译命令，例如：nmake /f Makefile.vc mode=dll VC=15 MACHINE=x64 DEBUG=no⁵
  • 编译成功后，在builds目录下会生成相应的头文件、库文件和可执行文件

接下来，我们需要配置libcurl库的路径和链接选项。以Visual Studio为例，我们可以在项目属性中设置以下内容：

  • 在C/C++ -> 常规 -> 附加包含目录中添加libcurl头文件所在的路径
  • 在链接器 -> 常规 -> 附加库目录中添加libcurl库文件所在的路径
  • 在链接器 -> 输入 -> 附加依赖项中添加libcurl.lib

2. 初始化和设置libcurl句柄

要使用libcurl库发送HTTP请求，我们需要创建一个libcurl句柄，并对其进行一些必要的设置。具体步骤如下：

  • 调用curl_global_init函数初始化libcurl环境
  • 调用curl_easy_init函数创建一个libcurl句柄
  • 调用curl_easy_setopt函数设置一些选项，例如：
    • CURLOPT_URL：设置要访问的网址
    • CURLOPT_PROXY：设置代理服务器的地址和端口
    • CURLOPT_PROXYTYPE：设置代理服务器的类型，例如HTTP或SOCKS
    • CURLOPT_PROXYUSERPWD：设置代理服务器的用户名和密码
    • CURLOPT_WRITEFUNCTION：设置写入回调函数的指针
    • CURLOPT_WRITEDATA：设置写入回调函数的参数

3. 发送HTTP请求并处理响应

设置好libcurl句柄后，我们就可以发送HTTP请求了。具体步骤如下：

  • 调用curl_easy_perform函数执行HTTP请求
  • 调用curl_easy_getinfo函数获取一些有用的信息，例如：
    • CURLINFO_RESPONSE_CODE：获取HTTP响应的状态码
    • CURLINFO_PRIMARY_IP：获取目标网站的IP地址
    • CURLINFO_CONTENT_TYPE：获取响应的内容类型
  • 调用写入回调函数处理响应的内容，例如：
    • 打开一个本地文件
    • 将响应的内容写入文件
    • 关闭文件

4. 释放资源和清理环境

完成HTTP请求后，我们需要释放一些资源，并清理libcurl环境。具体步骤如下：

  • 调用curl_easy_cleanup函数释放libcurl句柄
  • 调用curl_global_cleanup函数清理libcurl环境

5.C代码示例

首先是回调函数的实现如下：

// 定义写入回调函数的实现
size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {// 计算接收到的数据的字节数size_t bytes = size * nmemb;// 将数据写入文件中fwrite(ptr, size, nmemb, (FILE *)stream);// 返回写入的字节数return bytes;
}

这个函数的参数和返回值都是由libcurl库定义的，我们只需要按照规范来实现即可。函数的作用是将接收到的数据（ptr）写入到指定的文件流（stream）中，并返回写入的字节数（bytes）。这样，libcurl库就可以知道是否有数据丢失或错误发生。
下面是完整的C代码，你可以编译运行，看看效果如何。

#include <stdio.h>
#include "curl/curl.h"size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream);// 亿牛云 爬虫代理 设置代理服务器域名、端口、用户名、密码
#define PROXY_HOST "http://www.16yun.cn"
#define PROXY_PORT "8080"
#define PROXY_USER "16YUN"
#define PROXY_PASS "16IP"
#define URL "http://www.example.com"
#define FILENAME "example.html"int main(void) {// 初始化 curl 库CURLcode code = curl_global_init(CURL_GLOBAL_ALL);if (code != CURLE_OK) {fprintf(stderr, "初始化失败: %s\n", curl_easy_strerror(code));return 1;}// 获取 curl 库的版本信息curl_version_info_data *data = curl_version_info(CURLVERSION_NOW);printf("curl 库的版本: %s\n", data->version);// 创建一个 easy 句柄CURL *curl = curl_easy_init();if (curl == NULL) {fprintf(stderr, "创建句柄失败\n");curl_global_cleanup();return 2;}// 设置 URLcode = curl_easy_setopt(curl, CURLOPT_URL, URL);if (code != CURLE_OK) {fprintf(stderr, "设置 URL 失败: %s\n", curl_easy_strerror(code));curl_easy_cleanup(curl);curl_global_cleanup();return 3;}// 设置代理服务器code = curl_easy_setopt(curl, CURLOPT_PROXY, PROXY_HOST ":" PROXY_PORT);if (code != CURLE_OK) {fprintf(stderr, "设置代理服务器失败: %s\n", curl_easy_strerror(code));curl_easy_cleanup(curl);curl_global_cleanup();return 4;}// 设置代理类型code = curl_easy_setopt(curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);if (code != CURLE_OK) {fprintf(stderr, "设置代理类型失败: %s\n", curl_easy_strerror(code));curl_easy_cleanup(curl);curl_global_cleanup();return 5;}// 设置代理认证code = curl_easy_setopt(curl, CURLOPT_PROXYUSERPWD, PROXY_USER ":" PROXY_PASS);if (code != CURLE_OK) {fprintf(stderr, "设置代理认证失败: %s\n", curl_easy_strerror(code));curl_easy_cleanup(curl);curl_global_cleanup();return 6;}// 设置用户代理char *user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36";code = curl_easy_setopt(curl, CURLOPT_USERAGENT, user_agent);if (code != CURLE_OK) {fprintf(stderr, "设置用户代理失败: %s\n", curl_easy_strerror(code));curl_easy_cleanup(curl);curl_global_cleanup();return 7;}// 设置 Cookiechar *cookies = "your_cookie_data_here";code = curl_easy_setopt(curl, CURLOPT_COOKIE, cookies);if (code != CURLE_OK) {fprintf(stderr, "设置 Cookie 失败: %s\n", curl_easy_strerror(code));curl_easy_cleanup(curl);curl_global_cleanup();return 8;}// 设置写入数据的回调函数code = curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data);if (code != CURLE_OK) {fprintf(stderr, "设置回调函数失败: %s\n", curl_easy_strerror(code));curl_easy_cleanup(curl);curl_global_cleanup();return 9;}// 打开本地文件FILE *file = fopen(FILENAME, "wb");if (file == NULL) {fprintf(stderr, "打开文件失败: %s\n", FILENAME);curl_easy_cleanup(curl);curl_global_cleanup();return 10;}// 设置写入数据的文件指针code = curl_easy_setopt(curl, CURLOPT_WRITEDATA, file);if (code != CURLE_OK) {fprintf(stderr, "设置文件指针失败: %s\n", curl_easy_strerror(code));fclose(file);curl_easy_cleanup(curl);curl_global_cleanup();return 11;}// 执行传输code = curl_easy_perform(curl);if (code != CURLE_OK) {fprintf(stderr, "执行传输失败: %s\n", curl_easy_strerror(code));fclose(file);curl_easy_cleanup(curl);curl_global_cleanup();return 12;}// 获取响应状态码long status;code = curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &status);if (code == CURLE_OK) {printf("响应状态码: %ld\n", status);} else {fprintf(stderr, "获取状态码失败: %s\n", curl_easy_strerror(code));}// 获取目标 IP 地址char *ip;code = curl_easy_getinfo(curl, CURLINFO_PRIMARY_IP, &ip);if (code == CURLE_OK) {printf("目标 IP 地址: %s\n", ip);free(ip); // 需要释放字符串指针} else {fprintf(stderr, "获取 IP 地址失败: %s\n", curl_easy_strerror(code));}// 获取内容类型char *type;code = curl_easy_getinfo(curl, CURLINFO_CONTENT_TYPE, &type);if (code == CURLE_OK) {printf("内容类型: %s\n", type);free(type); // 需要释放字符串指针} else {fprintf(stderr, "获取内容类型失败: %s\n", curl_easy_strerror(code));}// 关闭文件fclose(file);// 清理 easy 句柄curl_easy_cleanup(curl);// 清理全局资源curl_global_cleanup();return 0;
}// 写入数据的回调函数
size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {size_t written = fwrite(ptr, size, nmemb, (FILE *)stream);if (written != size * nmemb) {fprintf(stderr, "写入文件出错\n");return -1; // 返回一个负值，停止传输}return written;
}

结语

本文介绍了如何在C程序中使用libcurl库下载网页内容，并保存到本地文件中。我们还使用了代理IP技术，来绕过目标网站的反爬措施。我们使用了自定义写入回调函数，来处理网页内容的写入操作。通过这个示例，我们可以学习到libcurl库的基本用法和一些高级特性，以及如何在C语言中实现爬虫功能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/162838.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

NetCore/Net8下使用Redis的分布式锁实现秒杀功能

NetCore/Net8下使用Redis的分布式锁实现秒杀功能

目的 本文主要是使用NetCore/Net8加上Redis来实现一个简单的秒杀功能&#xff0c;学习Redis的分布式锁功能。 准备工作 1.Visual Studio 2022开发工具 2.Redis集群&#xff08;6个Redis实例&#xff0c;3主3从&#xff09;或者单个Redis实例也可以。 实现思路 1.秒杀开始…
阅读更多...
PAM从入门到精通（七）

PAM从入门到精通（七）

接前一篇文章&#xff1a;PAM从入门到精通&#xff08;六&#xff09; 本文参考&#xff1a; 《The Linux-PAM Application Developers Guide》 先再来重温一下PAM系统架构&#xff1a; 更加形象的形式&#xff1a; 五、主要函数详解 5. pam_strerror 概述&#xff1a; 描述…
阅读更多...
防火墙规则顺序解决方案

防火墙规则顺序解决方案

防火墙是保护网络免受攻击的第一道防线&#xff0c;防火墙对互联网和公司IT网络之间的流量拥有绝对控制权&#xff0c;防火墙规则的配置处理调节流量的关键任务。 这些规则会仔细检查传入和传出流量&#xff0c;并根据规则中提到的条件允许或阻止它&#xff0c;防火墙规则越严…
阅读更多...
vscode调试container（进行rocksdb调试）+vscode比较git项目不同分支和fork的哪个分支

vscode调试container（进行rocksdb调试）+vscode比较git项目不同分支和fork的哪个分支

vscode调试container&#xff08;进行rocksdb调试&#xff09; 参考链接&#xff1a; https://blog.csdn.net/qq_29809823/article/details/128445308#t5 https://blog.csdn.net/qq_29809823/article/details/121978762#t7 使用vscode中的插件dev containners->点击左侧的…
阅读更多...
C语言实现句子中的单词颠倒排序

C语言实现句子中的单词颠倒排序

一、运行结果 二、源代码 # define _CRT_SECURE_NO_WARNINGS # include <stdio.h> # include <assert.h>//实现逆转函数&#xff1b; void reverse(char* left, char* right) {//断言left和right都不能为空&#xff1b;assert(left);assert(right);//循环逆转字母…
阅读更多...
使用Linux远程连接OpenGauss数据库的步骤和方法

使用Linux远程连接OpenGauss数据库的步骤和方法

文章目录 前言1. Linux 安装 openGauss2. Linux 安装cpolar3. 创建openGauss主节点端口号公网地址4. 远程连接openGauss5. 固定连接TCP公网地址6. 固定地址连接测试 前言 openGauss是一款开源关系型数据库管理系统&#xff0c;采用木兰宽松许可证v2发行。openGauss内核深度融合…
阅读更多...
c 语言基础：L1-044 稳赢

c 语言基础：L1-044 稳赢

大家应该都会玩“锤子剪刀布”的游戏&#xff1a;两人同时给出手势&#xff0c;胜负规则如图所示&#xff1a; 现要求你编写一个稳赢不输的程序&#xff0c;根据对方的出招&#xff0c;给出对应的赢招。但是&#xff01;为了不让对方输得太惨&#xff0c;你需要每隔K次就让一个…
阅读更多...
电子奖牌-参数

电子奖牌-参数

产品参数 产品型号 ESL_6color_8.14_BLE 尺寸(mm) 200*135*7mm 显示技术 电子墨水屏 显示区域(mm) 180.22(H) * 101.38(V) 分辨率(像素) 1024*576 像素尺寸(mm) 0.176*0.176 144pdi 显示颜色 黑/白/红/黄/蓝/绿 外观颜色 实木色 视觉角度 180 工作温度 …
阅读更多...
k8s集群授权prometheus（集群外部署）

k8s集群授权prometheus（集群外部署）

一、前言 在集群外部prometheus想要调用k8s集群的apiserver获取监控数据需要通过token和ca验证&#xff0c;在集群内部部署的prometheus就不会有这个情况&#xff0c;因为集群内部部署prometheus pod的时候就已经注入了访问集群的token和ca文件&#xff0c;所以以下就针对k8s集…
阅读更多...
[正式学习java③]——字符串在内存中的存储方式、为什么字符串不可变、字符串的拼接原理，键盘录入的小细节。

[正式学习java③]——字符串在内存中的存储方式、为什么字符串不可变、字符串的拼接原理，键盘录入的小细节。

&#x1f308;键盘敲烂&#xff0c;年薪30万&#x1f308; 目录 一、字符串 1.字符串在内存中的存储方式 2.创建字符串对象的两种方式 3.两种创建方式的区别 4.字符串对象一旦创建不可改变 - 为什么&#xff1f;&#xff1f;&#xff1f; 5.字符串的拼接 6.字符串的拼接原…
阅读更多...
前端自学需要把大量时间放在 HTML、CSS 吗？

前端自学需要把大量时间放在 HTML、CSS 吗？

前言 html和css其实不需要花费太多的时间&#xff0c;html暂且不说&#xff0c;css各类的属性太多了&#xff0c;平时如果只是简单做一些小网站根本不需要全部掌握&#xff0c;只需要掌握一些基础常用的即可&#xff0c;一般遇到不会的也可以直接查文档&#xff0c;就我个人来…
阅读更多...
视觉Slam面试题（不定时更新）

视觉Slam面试题（不定时更新）

文章目录 0 引言1 单目、双目、深度相机和RGBD相机的区别2 特征点法与直接法的优缺点3 等距变换、相似变换、仿射变换、射影变换的区别4 单应矩阵、本质矩阵和基础矩阵的区别5 Slam中为什么用李群李代数6 解释Slam中的绑架问题7 ORB、SIFT和SURF特征点检测算法的区别8 什么是对…
阅读更多...
Java 并发关键字：synchronized详解

Java 并发关键字：synchronized详解

synchronized详解 基本使用源码解析常见面试题好书推荐 基本使用 Java中的synchronized关键字用于在多线程环境下确保数据同步。它可以用来修饰方法和代码块 当一个线程访问一个对象的synchronized方法或代码块时&#xff0c;其他线程将无法访问该对象的其他synchronized方法或…
阅读更多...
中文编程开发语言工具开发的实际软件案例：称重管理系统软件

中文编程开发语言工具开发的实际软件案例：称重管理系统软件

中文编程开发语言工具开发的实际软件案例&#xff1a;称重管理系统软件 中文编程开发语言工具开发的实际软件案例&#xff1a;称重管理系统软件&#xff0c;软件可以安装在电脑上&#xff0c;也可以安装在收银机上&#xff0c;支持触摸和鼠标点&#xff0c;想学编程可以关注系统…
阅读更多...
wps/word 如何让表格的标题和表格名称文本（表1-1 xxx）跨页显示（已解决）

wps/word 如何让表格的标题和表格名称文本（表1-1 xxx）跨页显示（已解决）

第一步&#xff1a; 打开wps 创建一个跨页的表格表格&#xff0c;如下图 第二步 大家都知道 表格标题跨页 就是1&#xff09;在菜单表格工具 点击重复标题 或者 2&#xff09;表格属性--》行--》在各页顶端以标题行形式出现&#xff0c;详细如下图。 1&#xff09; 第一…
阅读更多...
信息系统项目管理师第四版学习笔记——组织通用管理

信息系统项目管理师第四版学习笔记——组织通用管理

组织通用管理是项目管理的关键前提和基础&#xff0c;它为项目管理提供思想路线和基本原则与方法&#xff0c;项目管理则是通用管理方法在特定场景下的具体表现。 人力资源管理 人力资源管理基础 人力资源管理的广义目标是充分利用组织中的人员使组织的各项工作效率水平达到…
阅读更多...
React组件渲染和更新的过程

React组件渲染和更新的过程

一、回顾Vue组件渲染和更新的过程 二、回顾JSX本质和vdom 三、组件渲染和更新 1、组件渲染过程 props state (组件有了props state)render()生成vnodepatch(elem, vnode) 2、组件更新过程 setState(newState) --> dirtyComponents (可能有子组件)render()生成newVnodepa…
阅读更多...
跑得“快”还要走得“稳”，看头部车企数字化实践怎么做

跑得“快”还要走得“稳”，看头部车企数字化实践怎么做

立足于人工智能、大数据、云计算等各种新技术变革的交汇点&#xff0c;无论是造车新势力还是传统车企&#xff0c;都在积极构建全链条、全流程数字化生态圈。在看得见的产品智能化、功能自动化之下&#xff0c;车企自身的数字化能力建设&#xff0c;则成为影响竞争格局的一条秘…
阅读更多...
git切换远程仓库源步骤

git切换远程仓库源步骤

git切换远程仓库源步骤&#xff1a; 第一步&#xff1a;git remote -v 查看当前远程仓库源&#xff1a; 第二步&#xff1a;git remote rm origin删除远程仓库源&#xff1b; 第三步&#xff1a;git remote add origin http://newURL.git 添加新的远程仓库源地址&#xff1b…
阅读更多...
手机应用app打开游戏显示连接服务器失败是什么原因？排查解决方案？

手机应用app打开游戏显示连接服务器失败是什么原因？排查解决方案？

亲爱的同学们&#xff0c;有时候我们在使用手机设备时&#xff0c;可能会遇到一个很头疼的问题——连接服务器失败。这个问题不仅让我们感到困扰&#xff0c;还影响到了我们的用户体验。那么&#xff0c;我们究竟能如何解决这个问题呢&#xff1f;今天&#xff0c;笔者就和大家…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023