一、下载selenium
1. 下载对应版本的浏览器驱动
2. 安装selenium
3.把浏览器驱动放到使用的python内核的script目录中
二、测试效果模拟登录b站
from selenium import webdriver
from selenium.webdriver.common.by import By
import timebrowser = webdriver.Chrome() # 打开浏览器
url='https://search.bilibili.com/all?keyword=%E6%A2%85%E8%A5%BF%E8%BF%87%E4%BA%BA&from_source=webtop_search&spm_id_from=333.1007&search_source=5'#以该链接为例
browser.get(url)#访问相对应链接
time.sleep(5)
browser.quit()#关闭浏览器
三、登录账号
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import jsonbrowser = webdriver.Chrome()
browser.get('https://www.bilibili.com')
browser.delete_all_cookies()#先删除cookies
time.sleep(30)#这个时间用于手动登录,扫码登录可以适当缩短这个等待时间
dictcookies = browser.get_cookies()#读取登录之后浏览器的cookies
jsoncookies = json.dumps(dictcookies)#将字典数据转成json数据便于保存with open('我的b站cookies.txt','w') as f:#写进文本保存f.write(jsoncookies)
print("well done")
browser.quit()四、登录账号+开始爬取
注意每个cookies只能使用一段时间，所以要每次都要重新执行下登录账号这两段代码
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import StaleElementReferenceException
import timebrowser = webdriver.Chrome()
browser.get('https://www.bilibili.com')
f = open('我的b站cookies.txt','r')
listcookie = json.loads(f.read())#读取文件中的cookies数据for cookie in listcookie:browser.add_cookie(cookie)#将cookies数据添加到浏览器
browser.refresh()#刷新网页# 搜索关键词并进入该页面
search_box = browser.find_element(By.CLASS_NAME, "nav-search-input")
search_box.send_keys("梅西过人")
search_box.send_keys(Keys.ENTER)# 获取所有窗口的句柄（可以理解为每个打开过的窗口的顺序）
handles = browser.window_handles
# 把窗口句柄切换到第二个窗口的，即搜索的结果页面，用于爬取
browser.switch_to.window(handles[1])
titles = browser.find_elements(By.TAG_NAME,'h3')
with open("b站梅西过人视频标题.txt", 'a', encoding='utf-8') as f:for title in titles:f.write(title.text + "\n")i = 2
while True:# 滑动页面的操作document = browser.execute_script('return document.body.scrollHeight;') # 滑动之前的页面高度time.sleep(2)browser.execute_script(f'window.scrollTo(0,{document})') # 滑动页面time.sleep(2)document2 = browser.execute_script('return document.body.scrollHeight;')# 滑动之后的页面高度# 防止页面刷新元素id改变，多次执行代码attempts = 0while attempts < 2:try:a = browser.find_elements(By.CSS_SELECTOR, '.vui_pagenation--btns button')a[-1].click() # 点击下一页breakexcept StaleElementReferenceException:attempts += 1# 防止页面刷新元素id改变，多次执行代码attempts = 0while attempts < 2:try:titles = browser.find_elements(By.TAG_NAME,'h3')with open("b站梅西过人视频标题.txt", 'a', encoding='utf-8') as f:for title in titles:content = title.textf.write(content + "\n")breakexcept StaleElementReferenceException:attempts += 1time.sleep(2)print(f"完成第{i}页标题爬取")i += 1
