作者：
逍遥Sean
简介：一个主修Java的Web网站\游戏服务器后端开发者
主页：https://blog.csdn.net/Ureliable
觉得博主文章不错的话，可以三连支持一下~ 如有疑问和建议，请私信或评论留言！
前言
在本篇博文中，我们将介绍如何使用 C# 编写一个简单的网页爬虫，来获取指定网页的内容。我们将使用 .NET Core 环境，并依赖于 HtmlAgilityPack 库来解析 HTML。让我们逐步实现这个爬虫的过程。
使用 C# 编写简单的网页爬虫
- 准备工作
- 实现网页爬虫
- 解释代码
- 运行结果
- 结论
准备工作
-
安装 HtmlAgilityPack 库
HtmlAgilityPack 是一个流行的 HTML 解析库，用于处理 HTML 文档的结构和内容。您可以通过 NuGet 管理器或者命令行安装它：
Install-Package HtmlAgilityPack -
创建一个新的 .NET Core 项目
打开 Visual Studio 或者使用命令行工具创建一个新的 .NET Core 控制台应用程序：
dotnet new console -n SimpleWebCrawler cd SimpleWebCrawler -
引用所需的命名空间
在程序的顶部引入需要的命名空间：
using HtmlAgilityPack; using System; using System.Net.Http; using System.Threading.Tasks;
实现网页爬虫
现在，让我们开始编写网页爬虫的代码。以下是一个简单的示例，演示如何获取指定网页的标题和所有的链接。
using HtmlAgilityPack;
using System;
using System.Net.Http;
using System.Threading.Tasks;class Program
{static async Task Main(string[] args){string url = "https://example.com"; // 设置要爬取的网页 URLvar httpClient = new HttpClient();var html = await httpClient.GetStringAsync(url);var htmlDocument = new HtmlDocument();htmlDocument.LoadHtml(html);// 获取网页标题var titleNode = htmlDocument.DocumentNode.SelectSingleNode("//title");string title = titleNode.InnerText.Trim();Console.WriteLine($"网页标题: {title}");// 获取所有链接var linkNodes = htmlDocument.DocumentNode.SelectNodes("//a[@href]");Console.WriteLine("\n所有链接:");foreach (var linkNode in linkNodes){string link = linkNode.Attributes["href"].Value;Console.WriteLine(link);}}
}
解释代码
- HttpClient：用于发起 HTTP 请求并获取网页内容。
- HtmlDocument 和 HtmlNode：来自 HtmlAgilityPack，用于解析和查询 HTML 文档的节点和内容。
- Main 方法：程序的入口点，异步执行网页爬取操作。
- url 变量：指定要爬取的网页地址。
运行结果
编译并运行程序，将会输出指定网页的标题和所有链接：
网页标题: Example Domain所有链接:
https://www.iana.org/domains/example
结论
通过这篇博文，我们学习了如何使用 C# 编写一个简单的网页爬虫，获取网页的标题和所有链接。这只是一个入门级的示例，您可以根据实际需求扩展功能，例如存储数据、处理异常或者实现更复杂的爬取逻辑。希望这篇文章能帮助您开始探索和应用 C# 中的网页爬虫技术！
