在写爬虫的时候,要伪装成真实用户请求。可能需要大量的IP地址,那么大量的IP地址从哪里来呢?这里就需要用代理IP来解决了,有的网站专门通过提供代理IP池服务作为主要的经营业务,只要注册相关网站开通对应套餐就可以了。
这次我们以自动登录一个爬虫代理 IP 网站来做为实战案例:
直接看代码:
账号我已经实现注册好了,可以用代码中的测试账号,也可以自己手动注册一个。
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time
s = Service(r'C:\Users\77653\AppData\Local\Microsoft\WindowsApps\chromedriver.exe')
# 初始化浏览器为chrome浏览器
browser = webdriver.Chrome(service=s)
# 隐式等待,等待时间10秒
browser.implicitly_wait(10)# 66代理登录页
browser.get('http://www.66daili.cn/UserManage/Login/')# 自动登录
browser.find_element(By.ID, 'username').send_keys('youbafu')
browser.find_element(By.ID, 'password').send_keys('youbafu123')
remember = browser.find_element(By.ID, 'remember')
if not remember.get_attribute('checked'):remember.click()
browser.find_element(By.ID, 'submit').click()time.sleep(2)
# 关闭浏览器
time.sleep(100)
browser.quit()