一小时掌握：使用ScrapySharp和C#打造新闻下载器

引言

爬虫技术是指通过编程的方式，自动从互联网上获取和处理数据的技术。爬虫技术有很多应用场景，比如搜索引擎、数据分析、舆情监测、电商比价等。爬虫技术也是一门有趣的技术，可以让你发现网络上的各种有价值的信息。

本文将介绍如何使用ScrapySharp和C#语言，打造一个简单的新闻下载器，可以从指定的新闻网站上抓取新闻标题、摘要、正文、作者、发布时间等信息，并保存到本地文件中。本文的目的是让你在一小时内掌握ScrapySharp和C#的基本用法，以及爬虫技术的基本原理和技巧。

ScrapySharp和C#的介绍

ScrapySharp是一个基于.NET的爬虫框架，它提供了一系列的类和方法，可以方便地实现爬虫的功能，比如发送请求、解析响应、提取数据、保存数据等。ScrapySharp的核心类是ScrapingBrowser，它模拟了一个浏览器的行为，可以执行JavaScript、处理Cookie、设置代理等。ScrapySharp还支持CSS选择器和XPath语法，可以灵活地定位网页中的元素。

C#是一种面向对象的编程语言，它是.NET平台的主要语言，可以运行在Windows、Linux、Mac等操作系统上。C#语言简洁、强大、高效，拥有丰富的类库和工具，可以开发各种类型的应用程序，包括桌面应用、网站、移动应用、游戏等。C#还支持多线程编程，可以充分利用CPU的资源，提高程序的性能。

新闻下载器的设计

本文的新闻下载器的设计思路如下：

首先，定义一个News类，用来存储新闻的各种属性，比如标题、摘要、正文、作者、发布时间等。
然后，定义一个NewsDownloader类，用来实现新闻下载器的主要逻辑，包括以下几个方法：
- 构造方法，用来初始化ScrapingBrowser对象，设置代理、超时、用户代理等参数。
- GetNewsUrls方法，用来从指定的新闻网站的首页上，获取所有新闻的链接，并返回一个字符串列表。
- GetNewsContent方法，用来从指定的新闻链接上，获取新闻的内容，并返回一个News对象。
- SaveNews方法，用来将一个News对象保存到本地文件中，文件名为新闻的标题，文件格式为txt。
- DownloadNews方法，用来下载所有新闻，并保存到本地文件夹中，文件夹名为新闻网站的域名。
最后，定义一个Program类，用来作为程序的入口，创建一个NewsDownloader对象，并调用其DownloadNews方法，传入要爬取的新闻网站的地址。

新闻下载器的代码

本文的新闻下载器的代码如下：

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Threading.Tasks;
using HtmlAgilityPack;
using ScrapySharp.Extensions;
using ScrapySharp.Network;namespace NewsDownloader
{// 定义一个News类，用来存储新闻的各种属性public class News{public string Title { get; set; } // 标题public string Summary { get; set; } // 摘要public string Content { get; set; } // 正文public string Author { get; set; } // 作者public string Time { get; set; } // 发布时间}// 定义一个NewsDownloader类，用来实现新闻下载器的主要逻辑public class NewsDownloader{private ScrapingBrowser browser; // 定义一个ScrapingBrowser对象，用来模拟浏览器的行为//亿牛云 设置爬虫代理加强版private string proxyDomain = "http://www.16yun.cn"; // 定义代理的域名private int proxyPort = 9010; // 定义代理的端口private string proxyUser = "16YUN"; // 定义代理的用户名private string proxyPass = "16IP"; // 定义代理的密码// 构造方法，用来初始化ScrapingBrowser对象，设置代理、超时、用户代理等参数public NewsDownloader(){browser = new ScrapingBrowser();browser.Timeout = TimeSpan.FromSeconds(10); // 设置超时时间为10秒browser.UserAgent = new FakeUserAgent("Chrome", 88.0); // 设置用户代理为Chrome 88.0browser.UseDefaultCookiesParser = false; // 禁用默认的Cookie解析器browser.Proxy = new WebProxy(proxyDomain, proxyPort); // 设置代理browser.Proxy.Credentials = new NetworkCredential(proxyUser, proxyPass); // 设置代理的凭证}// GetNewsUrls方法，用来从指定的新闻网站的首页上，获取所有新闻的链接，并返回一个字符串列表public List<string> GetNewsUrls(string url){List<string> newsUrls = new List<string>(); // 定义一个字符串列表，用来存储新闻的链接try{WebPage homePage = browser.NavigateToPage(new Uri(url)); // 使用ScrapingBrowser对象访问新闻网站的首页，并获取WebPage对象HtmlNode homeNode = homePage.Html; // 从WebPage对象中获取HtmlNode对象，表示网页的HTML文档IEnumerable<HtmlNode> newsNodes = homeNode.CssSelect("a[href*='/news/']"); // 使用CSS选择器，从HtmlNode对象中获取所有包含'/news/'的a标签的HtmlNode对象，表示新闻的链接foreach (HtmlNode newsNode in newsNodes) // 遍历所有新闻的链接{string newsUrl = newsNode.GetAttributeValue("href", null); // 从HtmlNode对象中获取href属性的值，表示新闻的链接if (newsUrl != null && !newsUrls.Contains(newsUrl)) // 如果新闻的链接不为空，且不在字符串列表中{newsUrls.Add(newsUrl); // 将新闻的链接添加到字符串列表中}}}catch (Exception ex) // 捕获异常{Console.WriteLine("GetNewsUrls error: " + ex.Message); // 在控制台输出异常信息}return newsUrls; // 返回字符串列表}// GetNewsContent方法，用来从指定的新闻链接上，获取新闻的内容，并返回一个News对象public News GetNewsContent(string url){News news = new News(); // 定义一个News对象，用来存储新闻的内容try{WebPage newsPage = browser.NavigateToPage(new Uri(url)); // 使用ScrapingBrowser对象访问新闻的链接，并获取WebPage对象HtmlNode newsNode = newsPage.Html; // 从WebPage对象中获取HtmlNode对象，表示网页的HTML文档HtmlNode titleNode = newsNode.CssSelect("h1").FirstOrDefault(); // 使用CSS选择器，从HtmlNode对象中获取第一个h1标签的HtmlNode对象，表示新闻的标题HtmlNode summaryNode = newsNode.CssSelect("p.summary").FirstOrDefault(); // 使用CSS选择器，从HtmlNode对象中获取第一个p标签，且class属性为summary的HtmlNode对象，表示新闻的摘要HtmlNode contentNode = newsNode.CssSelect("div.article-content").FirstOrDefault(); // 使用CSS选择器，从HtmlNode对象中获取第一个div标签，且class属性为article-content的HtmlNode对象，表示新闻的正文HtmlNode authorNode = newsNode.CssSelect("span.author").FirstOrDefault(); // 使用CSS选择器，从HtmlNode对象中获取第一个span标签，且class属性为author的HtmlNode对象，表示新闻的作者HtmlNode timeNode = newsNode.CssSelect("span.time").FirstOrDefault(); // 使用CSS选择器，从HtmlNode对象中获取第一个span标签，且class属性为time的HtmlNode对象，表示新闻的发布时间if (titleNode != null) // 如果标题节点不为空{news.Title = titleNode.InnerText.Trim(); // 从HtmlNode对象中获取文本内容，并去除两端的空白字符，赋值给News对象的Title属性}if (summaryNode != null) // 如果摘要节点不为空{news.Summary = summaryNode.InnerText.Trim(); // 从HtmlNode对象中获取文本内容，并去除两端的空白字符，赋值给News对象的Summary属性}if (contentNode != null) // 如果正文节点不为空{news.Content = contentNode.InnerText.Trim(); // 从HtmlNode对象中获取文本内容，并去除两端的空白字符，赋值给News对象的Content属性}if (authorNode != null) // 如果作者节点不为空{news.Author = authorNode.InnerText.Trim(); // 从HtmlNode对象中获取文本内容，并去除两端的空白字符，赋值给News对象的Author属性}if (timeNode != null) // 如果时间节点不为空{news.Time = timeNode.InnerText.Trim(); // 从HtmlNode对象中获取文本内容，并去除两端的空白字符，赋值给News对象的Time属性}}catch (Exception ex) // 捕获异常{Console.WriteLine("GetNewsContent error: " + ex.Message); // 在控制台输出异常信息}return news; // 返回News对象}// SaveNews方法，用来将一个News对象保存到本地文件中，文件名为新闻的标题，文件格式为txtpublic void SaveNews(News news, string folder){try{string fileName = news.Title + ".txt"; // 定义文件名为新闻的标题加上.txt后缀string filePath = Path.Combine(folder, fileName); // 定义文件路径为文件夹和文件名的组合using (StreamWriter writer = new StreamWriter(filePath, false, Encoding.UTF8)) // 使用StreamWriter对象，以UTF-8编码，覆盖模式，打开或创建文件{writer.WriteLine("标题：" + news.Title); // 写入新闻的标题writer.WriteLine("摘要：" + news.Summary); // 写入新闻的摘要writer.WriteLine("正文：" + news.Content); // 写入新闻的正文writer.WriteLine("作者：" + news.Author); // 写入新闻的作者writer.WriteLine("时间：" + news.Time); // 写入新闻的时间}}catch (Exception ex) // 捕获异常{Console.WriteLine("SaveNews error: " + ex.Message); // 在控制台输出异常信息}}// DownloadNews方法，用来下载所有新闻，并保存到本地文件夹中，文件夹名为新闻网站的域名public void DownloadNews(string url){try{Uri uri = new Uri(url); // 定义一个Uri对象，表示新闻网站的地址string folder = uri.Host; // 定义文件夹名为Uri对象的Host属性，表示新闻网站的域名if (!Directory.Exists(folder)) // 如果文件夹不存在{Directory.CreateDirectory(folder); // 创建文件夹}List<string> newsUrls = GetNewsUrls(url); // 调用GetNewsUrls方法，获取所有新闻的链接Parallel.ForEach(newsUrls, newsUrl => // 使用Parallel类的ForEach方法，对所有新闻的链接进行并行处理，提高采集效率{News news = GetNewsContent(newsUrl); // 调用GetNewsContent方法，获取新闻的内容SaveNews(news, folder); // 调用SaveNews方法，将新闻保存到本地文件中Console.WriteLine("Downloaded: " + news.Title); // 在控制台输出下载成功的新闻的标题});Console.WriteLine("Download completed!"); // 在控制台输出下载完成的提示}catch (Exception ex) // 捕获异常{Console.WriteLine("DownloadNews error: " + ex.Message); // 在控制台输出异常信息}}}// 定义一个Program类，用来作为程序的入口class Program{static void Main(string[] args){NewsDownloader downloader = new NewsDownloader(); // 创建一个NewsDownloader对象downloader.DownloadNews("https://www.bbc.com/news"); // 调用其DownloadNews方法，传入要爬取的新闻网站的地址Console.ReadKey(); // 等待用户按键}}
}