Python 爬虫之下载视频（四）

爬取某投币视频平台的小视频

文章目录

爬取某投币视频平台的小视频
前言
一、基本内容
二、基本思路
三、代码编写
- 1.引入库
- 2.设置手机模式
- 3.跳过手动点击等操作
- 4.获取视频下载地址
- 5.获取视频标题
- 6.下载保存
总结

前言

这篇用来记录一下如何爬取这个平台的视频，比如一些Python的教程小视频（一个视频四五分钟的那种的），效果还是不错的。

举例，如下图所示：
在这里插入图片描述

一、基本内容

打开一个正在播放的网页页面，获取视频标题和下载链接，在本地保存成mp4格式的视频文件。

二、基本思路

获取视频下载链接，电脑网页检查元素定位到的是blob转换的url地址（用不了），视频标题不影响。
需要电脑网页开启手机模式（开发者模式里可以设置），这里的定位到的url是可以用的。
以上可得，在爬取的时候，需要程序代码以手机模式进行爬取（跟之前的教程一样，只不过是多个一个这个步骤）。
像之前的教程一样，去爬取下载就可以。

三、代码编写

1.引入库

代码如下：

import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

2.设置手机模式

代码如下：

# 打开电脑浏览器，以手机模式运行
chrome_options = webdriver.ChromeOptions()# 模拟一种存在的手机设备类型
chrome_options.add_experimental_option("mobileEmulation",{'deviceName': 'iPhone XR'})# 创建一个实例对象，添加配置项
driver = webdriver.Chrome(options=chrome_options)# 在执行任何查找元素的操作时等待时间
driver.implicitly_wait(5)# 要爬取的网页地址
driver.get("网页地址")
time.sleep(5)

这里主要讲了两个点：一是将网页模式设置成了 iPhone XR 手机模式；二是在执行任何查网页找元素的操作时等待时间，为了给网页反应的时间。然后输入网页地址。

3.跳过手动点击等操作

代码如下：

# 页面打开点击播放按钮
play_icon = driver.find_element(by=By.CSS_SELECTOR, value='.main-cover')
play_icon.click()# 等窗口弹出来
time.sleep(3)# 点击继续网页播放
to_see = driver.find_element(by=By.CSS_SELECTOR, value='.to-see')
to_see.click()
time.sleep(3)

大家都懂得，厂商都想让你跳转到app看，但是也有不显眼的在网页继续观看，上面的代码就是解决这个问题的。

4.获取视频下载地址

代码如下：

# 视频下载地址
# 定位到包含 video 标签的 div 元素
movie_div = driver.find_element(by=By.CSS_SELECTOR, value='.mplayer-video-wrap')# 在 div 元素中查找 video 标签
video_element = movie_div.find_element(By.TAG_NAME, "video")# 获取 video 标签的 src 属性值
movie_url = video_element.get_attribute("src")# 打印下载地址
print(movie_url)

这是获取下载地址的一个嵌套逻辑，要想理解需要大家去实际操作一下。

5.获取视频标题

代码如下：

## 视频标题
movie_title = driver.find_element(by=By.CSS_SELECTOR, value='.part-item.on').text.strip()# 打印视频标题
print(movie_url)

标题的获取到时不难，就两行代码。
或者去这个东西主要是为了给下载的视频起名字，对号入座，好区分。

6.下载保存

代码如下：

# 视频头部信息，做验证用
headers = {'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 16_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Mobile/15E148 Safari/604.1',
}# 获取到视频
response = requests.get(movie_url, headers=headers)
chunk_size = 1024 * 1024 * 2# 开始下载保存文件
with open(f'{movie_title}.mp4', 'wb') as f:for chunk in response.iter_content(chunk_size=chunk_size):f.write(chunk)# 打印下载完成的消息
print(f'下载完了！！{movie_title}.mp4')