HTTP HTTPS协议
搞爬虫就是搞http协议，位于应用层
HTTP协议以明文方式发送数据，数据无法加密，易被盗取
HTTPS协议较http协议加了个安全层，即有一个SSL协议
区别：
HTTPS协议需要一个ca证书，一般免费较少，所以需要一定费用
HTTP是超文本传输协议，信息是明文传输，https具有安全性的ssl加密传输协议。
http和https使用的是完全不同的连接方式，用的端口也不相同，http用80端口，https用443
http的连接很简单，是无状态的；https协议是有SSL+HTTP协议构建的可进行加密传输，身份认证的网络协议，比http协议安全
请求头
请求网页时点开开发者工具会出现以下内容：
网页右键检查，打开network，刷新后会抓取包，打开一个网址，header中的内容就是请求头
General
Request URL:百度一下，你就知道 请求的页面url
Request Method:GET 页面请求方式
Status Code:200 OK 相应的状态码
Remote Address:180.101.50.188:443 我们访问国内网站使用的IP地址 （443https协议；如果是http协议就是80端口）
Referrer Policy: strict-origin-when-cross-origin 用于过滤Referer内容
常见的HTTP状态码：
200 请求成功
301 永久移动
302 暂时移动
304 内容未修改
400 客户端请求错误
403 客户端请求被服务器拒绝
404 页面丢失
500 服务器内部错误
502 远程服务器响应无效
Response Headers
是服务器返回的消息头
-
Cache-Control: max-age=0 客户端是否使用缓存
-
Connection: keep-alive 长连接
-
Content-Length: 43
-
Content-Type：返回数据类型
-
Content-Type: image/gif
-
Date: Fri, 25 Oct 2024 12:53:33 GMT 缓存过滤的时间
-
Expires: Fri, 25 Oct 2024 12:53:33 GMT 缓存过滤的时间，在此日期后，响应失效
-
Last-Modified: Mon, 28 Sep 1970 06:00:00 GMT
-
Server: nginx 服务器处理信息的软件信息，服务器版本
-
Set-Cookie:服务器给客户端设置的Cookies
-
Strict-Transport-Security:严格传输安全协议，在这个时间内发起的请求都是以https
-
Transfer-Encoding:数据以块的方式发送
Request Headers
写爬虫要写的写到request中headers中的内容
-
Accept: image/avif,image/webp,image/apng,image/,/*;q=0.8 表示客户端能够接受的数据格式，文本
-
Accept-Encoding: gzip, deflate, br 表示客户端可以接受的编码方式
-
Accept-Language: zh-CN,zh;q=0.9 客户端能够接受的语言
-
Connection: keep-alive 保持长连接，即进入新的网页，该网页也是保持连接状态
-
Cookie: BAIDUID_BFESS=B3EEC46E7E0178A59B6BE1EF0A6D2695:FG=1; ZFY=HQBF37UF5AXdesbthNVHVqU1wVjQVZtGInpkFPF3XRA:C 用于解决http无状态的痛点，可以用来保存账号，密码信息
-
Host: eclick.baidu.com 客户端请求的主机
-
Referer: hao123_上网从这里开始
-
Sec-Fetch-Dest: image
-
Sec-Fetch-Mode: no-cors
-
Sec-Fetch-Site: cross-site
-
User-Agent:
Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36 客户端使用什么终端访问
其他
DNT :表示客户端是否允许网站追踪，1为允许
Upgrade-Insecure-Request:表示客户端优先接受加密响应，一般是在https协议会有
Program：Http1.0用来向后兼容只支持HTTP1.0的向后兼容
Cookies
Cookies是存储在电脑上的一些数据，因为HTTP是面向无连接的，也就是每一个请求和响应都是单独分开的，有时候我们需要保存用户的状态，比如你在网站一直在先，就需要记录你的信息。或者长登录的网站点击“记录账号密码”就是保存在了Cookies中
Cookies以键值对的形式存在，也就是key=value
HTML
HTML就是编写前端页面使用的代码，一般用来搭建网络骨架，界面渲染用css，实现网页交互使用js
JSON
json是一种轻量级的数据交换格式，一般用来搭建网站API
JSON语法：
数据是键值对
数据由逗号分隔
大括号保存对象
方括号保存数组
{“name”：“wy”}就是一个json对象
Ajax
举例：一个网页网站不变，内容不断刷新，例如百度图片不断下拉，内容刷新，网站不变等，就是使用Ajax实现的
Ajax是异步执行js网络请求的意思。
