一、知识点分析
1.requests模块介绍
requests模块是Python
中用于发送HTTP
请求的一个库,它封装了urllib3
库,提供了更加便捷的API
接口。 通过使用requests
模块,用户可以模拟浏览器的请求,发送HTTP
请求到指定的URL
,并获取响应内容。与urllib
相比,requests
模块的API更加简洁易用,适合快速开发。
2.bs4中的BeautifulSoup模块介绍
BeautifulSoup
是一个用于解析HTM
L和XML
文档的Python
库,它可以将复杂的HTML
或XML
文档转换成一个复杂的树形结构,每个节点都是Python
对象。BeautifulSoup
的主要功能是从网页中抓取数据,提供简单的、Python
式的函数来处理导航、搜索、修改分析树等功能。
二、环境&目的
- PyCharm
- Python-3.8.10
- CentOS7.4
通过PyCharm
编写测试,借助CentOS7.4 Linux
系统中cron
计划任务实现定时任务每日自动BBS
论坛签到目的。通过此功能实现让大家更加充分地了解与使用requests
、BeautifulSoup
这两个模块。
三、实践
1.pycharm编写脚本测试
2.定时任务配置
2.1安装python3
tar -xvf Python-3.8.10.tgz
cd Python-3.8.10
./configure --prefix=/usr/local/python3.8.10 --enable-optimizations
make && make installln -s /usr/local/python3.8.10/bin/python3 /usr/bin/python3
ln -s /usr/local/python3.8.10/bin/pip3.8 /usr/bin/pip3
python3 -V
降低url版本,因为centos7的默认ssl版本太低。