Python爬虫（5） --爬取网页视频

文章目录
  • 爬虫
  • 爬取视频
    • 指定url
    • 发送请求
      • UA伪装
      • 请求页面
    • 获取想要的数据
      • 解析定位
      • 定位音视频位置
  • 存放视频
  • 完整代码实现
  • 总结

爬虫

Python 爬虫是一种自动化工具，用于从互联网上抓取网页数据并提取有用的信息。Python 因其简洁的语法和丰富的库支持（如 requests、BeautifulSoup、Scrapy 等）而成为实现爬虫的首选语言之一。

Python爬虫获取浏览器中的信息，实际上是模仿浏览器上网的行为。上一篇中，我们尝试着爬取了一个网站页面的图片内容，完成获取信息需要完成四步：

  1. 指定url
  2. 发送请求
  3. 获取你想要的数据
  4. 数据解析

这次我们来试试用同样的方法爬取网站页面的视频看看可以成功吗？

爬取视频

我们来试试爬取以下网页的视频：

https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d

指定url

打开开发者控制台，找到页面的url：

url = "https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d"

发送请求

在前前面的内容中，我们提到过，使用fake_useragent包进行UA伪装给自己一个访问身份，其实在页面中有给我们准备好的UA，只是使用fake_useragent包更方便，这次我们爬取视频，用页面给的UA。

UA伪装

同时，对于视频的爬取，网站都是有很强的反爬取能力，所以我们除此以外还需要在申请访问页面时，输入Referer防盗链以及Cookie身份信息（记得登录网站哦！），

在这里插入图片描述

和找寻url时一样，在同一个页面往下滑就能找到页面给的Cookie身份信息。

接着往下滑：

在这里插入图片描述

同样的，找到Referer防盗链和页面给的UA。

head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"# 防盗链, "Referer": "https://www.bilibili.com/" # 网页自带的防盗链，我们告诉它从哪里向网页发送的请求,"Cookie": "buvid3=C05B40CB-6A34-98BA-39D6-53A15FB1331D09014infoc; b_nut=1721443209; b_lsid=7E252C23_190CE02D1EA; bsource=search_bing; _uuid=2A4DF7DB-1415-18110-810D10-61B6E716441309713infoc; enable_web_push=DISABLE; header_theme_version=undefined; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; buvid_fp=4737552723e0dc057e8798fde01861bc; buvid4=8B3D0C60-C137-8D41-1DA5-4FB60839F89009729-024072002-402qiK5%2F0O1ew%2BiXfV11Kg%3D%3D; home_feed_column=5; browser_resolution=1872-966; CURRENT_FNVAL=4048; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjE3MDI0MjksImlhdCI6MTcyMTQ0MzE2OSwicGx0IjotMX0.rVZ9CiFYg3l5zrKtSm5jk880b2vYdADHdnTpO64kMog; bili_ticket_expires=1721702369; rpdid=|(J|)|~~|YYl0J'u~kuRRJkRu; SESSDATA=fd47394e%2C1736996380%2C3b724%2A71CjCpXPh-TmqNj96oUDW0altJZ6Iw84xOinBCAAhuZ1G-wxw0FFQR-j2_HvZPJtNgLl0SVmRDc2R6RWg3azBMUzVnVklNRGxBSGVXbWZiT2FydVNZVjM2MU1sQzkzQ3ZYMlNwLTdteUFQby0tWjlSaS1oWkVnbXVfRE8zOEd4VEFQbkNFNktMMVNRIIEC; bili_jct=643bc60a12be959fcaf2a7435e37b218; DedeUserID=152019087; DedeUserID__ckMd5=abf7b9e65385947c; sid=5voxt773"
} #自己的网页登录信息

将页面给的UA、Referer防盗链和Cookie身份信息都放在head中。

请求页面
response = requests.get(url, headers=head)

获取想要的数据

我们在爬取图片时，我们在寻找图片的地址，那我们视频的位置在哪里？怎么获取呐？

在这里插入图片描述

第一步点击Element,第二部找到html标签，在该标签下，找到第四个script标签。如下：

在这里插入图片描述

这里面就是我们要获取的视频信息啦，前20个字符不需要。

解析定位
from lxml import etree
tree = etree.HTML(res_text)
base_info = "".join(tree.xpath("/html/head/script[4]/text()"))[20:]	#前20个字符我们不要
#print(base_info)  #可以打印看看，有没有获取数据

我们看到，视频信息看到的是字典形式，但是获取信息时返回的是字符串形式，我们要将其转换一下：

info_dict = json.loads(base_info)	#将获取到的数据变成字典形式

因为b站的视频，视频和音频时分开的，所以我们得从信息中分别定位到视频和音频位置。但是这个信息密密麻麻的看起来很不方便，我们去响应Response中寻找它：

在这里插入图片描述

在这里插入图片描述

打开响应Response，然后找到第四个script标签，我们能看到有个video标签，获取音频url，同样的在第四个script标签下面还有audio视频url。

定位音视频位置

这样我们对视频与音频的位置进行访问（记住！！获取的数据已经被转换成字典了！！）：

#字典的取值是通过取健的位置得到值：
以下代码理解为：在data中取dash的值，然后再dash的值中取video的值………………最后取到音视频url
video_url = info_dict["data"]["dash"]['video'][0]["baseUrl"]
audio_url = info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content = requests.get(video_url, head).content	#和图片一样，访问后用content接收存储
audio_content = requests.get(audio_url, head).content

存放视频

with open()可以自己创建文件存放。

with open("video.wmv", "wb") as f:f.write(video_content)
with open("audio.mp4", "wb") as fp:fp.write(audio_content)

完整代码实现

import json
import fake_useragent
import requests
from lxml import etreeif __name__ == '__main__':head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"# 防盗链, "Referer": "https://www.bilibili.com/" # 网页自带的防盗链，我们告诉它从哪里向网页发送的请求,"Cookie": "buvid3=C05B40CB-6A34-98BA-39D6-53A15FB1331D09014infoc; b_nut=1721443209; b_lsid=7E252C23_190CE02D1EA; bsource=search_bing; _uuid=2A4DF7DB-1415-18110-810D10-61B6E716441309713infoc; enable_web_push=DISABLE; header_theme_version=undefined; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; buvid_fp=4737552723e0dc057e8798fde01861bc; buvid4=8B3D0C60-C137-8D41-1DA5-4FB60839F89009729-024072002-402qiK5%2F0O1ew%2BiXfV11Kg%3D%3D; home_feed_column=5; browser_resolution=1872-966; CURRENT_FNVAL=4048; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjE3MDI0MjksImlhdCI6MTcyMTQ0MzE2OSwicGx0IjotMX0.rVZ9CiFYg3l5zrKtSm5jk880b2vYdADHdnTpO64kMog; bili_ticket_expires=1721702369; rpdid=|(J|)|~~|YYl0J'u~kuRRJkRu; SESSDATA=fd47394e%2C1736996380%2C3b724%2A71CjCpXPh-TmqNj96oUDW0altJZ6Iw84xOinBCAAhuZ1G-wxw0FFQR-j2_HvZPJtNgLl0SVmRDc2R6RWg3azBMUzVnVklNRGxBSGVXbWZiT2FydVNZVjM2MU1sQzkzQ3ZYMlNwLTdteUFQby0tWjlSaS1oWkVnbXVfRE8zOEd4VEFQbkNFNktMMVNRIIEC; bili_jct=643bc60a12be959fcaf2a7435e37b218; DedeUserID=152019087; DedeUserID__ckMd5=abf7b9e65385947c; sid=5voxt773"} #自己的网页登录信息# 1、urlurl = "https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d"#2、发送请求response = requests.get(url, headers=head)# 3、获取想要的数据res_text = response.text# 4、数据解析tree = etree.HTML(res_text)with open("b.html", "w", encoding="utf8") as f:f.write(res_text)base_info = "".join(tree.xpath("/html/head/script[4]/text()"))[20:]    #前20个字符我们不要# print(base_info)info_dict = json.loads(base_info)  #将获取到的数据变成字典形式#定位音视频位置video_url = info_dict["data"]["dash"]['video'][0]["baseUrl"]audio_url = info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content = requests.get(video_url, head).contentaudio_content = requests.get(audio_url, head).contentwith open("video.wmv", "wb") as f:f.write(video_content)with open("audio.mp4", "wb") as fp:fp.write(audio_content)

爬取成功显示：

在这里插入图片描述

查看视频去文件夹中打开查看，由于音视频是分开的，可以通过剪映等视频剪辑软件将他们拼接在一起。

总结

本篇介绍了网页视频的爬取：

  1. 指定url
  2. 发送请求
    1. UA伪装：UA、Referer防盗链和Cookie身份信息都放在head中
  3. 获取你想要的数据
    1. 在Element获取视频信息
  4. 数据解析
    1. 在响应Response中，定位视频的具体位置，请求访问它

特别注意：

其实与爬取文本和图片区别不大，主要是定位到视频的位置。

网页都有反爬虫意识，反复多次爬取可能会拒绝你获取信息。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/3141.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

从AI原理到模型演进及代码实践 的学习二

从AI原理到模型演进及代码实践 的学习二

参考：全面解析：从AI原理到模型演进及代码实践-CSDN博客 训练过程 Transformer仅一个Encoder模块就可以工作，可以处理信息抽取、识别、主体识别等任务，比如 BERT（Bidirectional Encoder Representations from Transfor…
阅读更多...
利用EXCEL进行XXE攻击

利用EXCEL进行XXE攻击

0X00 前言 CTF 选手都清楚我们像 word 文档格式改成 zip 格式后，再解压缩可以发现其中多数是描述工作簿数据、元数据、文档信息的 XML 文件。实际上，与所有 post-Office 2007 文件格式一样，现代 Excel 文件实际上只是 XML 文档的 zip 文件。…
阅读更多...
在Mac mini上实现本地话部署AI和知识库

在Mac mini上实现本地话部署AI和知识库

在Mac mini上实现本地话部署AI和知识库 硬件要求：大模型AI，也叫LLM，需要硬件支持，常见的方式有2种：一种是采用英伟达之类支持CUDA库的GPU芯片或者专用AI芯片；第二种是采用苹果M系列芯片架构的支持统一内存架…
阅读更多...
鸿蒙UI（ArkUI-方舟UI框架）-开发布局

鸿蒙UI（ArkUI-方舟UI框架）-开发布局

文章目录 开发布局1、布局概述1）布局结构2）布局元素组成3）如何选择布局4）布局位置5）对子元素的约束 2、构建布局1）线性布局 (Row/Column)概述布局子元素在排列方向上的间距布局子元素在交叉轴上的对齐方式(…
阅读更多...
指针的进阶

指针的进阶

指针的主题，我们在初级阶段的《指针》章节已经接触过了，我们知道了指针的概念： 1. 指针就是个变量，用来存放地址，地址唯一标识一块内存空间。 2. 指针的大小是固定的4/8个字节（32位平台/64位平台&#xff0…
阅读更多...
B站评论系统的多级存储架构

B站评论系统的多级存储架构

1. 背景 评论是 B站生态的重要组成部分，涵盖了 UP 主与用户的互动、平台内容的推荐与优化、社区文化建设以及用户情感满足。B站的评论区不仅是用户互动的核心场所，也是平台运营和用户粘性的关键因素之一，尤其是在与弹幕结合的情况下&#xf…
阅读更多...
若依分页插件失效问题

若依分页插件失效问题

若依对数据二次处理导致查询total只有十条的问题处理办法_若依分页查询total-CSDN博客
阅读更多...
css盒子水平垂直居中

css盒子水平垂直居中

目录 1采用flex弹性布局： 2子绝父相margin：负值： 3.子绝父相margin:auto： 4子绝父相transform： 5通过伪元素 6table布局 7grid弹性布局 文字 水平垂直居中链接：文字水平垂直居中-CSDN博客 以下为盒子…
阅读更多...
Golang Gin系列-3：Gin Framework的项目结构

Golang Gin系列-3：Gin Framework的项目结构

在Gin教程的第3篇，我们将讨论如何设置你的项目。这不仅仅是把文件扔得到处都是，而是要对所有东西的位置做出明智的选择。相信我，这些东西很重要。如果你做得对，你的项目会更容易处理。当你以后不再为了找东西或添加新功能而绞尽脑…
阅读更多...
03JavaWeb——Ajax-Vue-Element（项目实战）

03JavaWeb——Ajax-Vue-Element（项目实战）

1 Ajax 1.1 Ajax介绍 1.1.1 Ajax概述 我们前端页面中的数据，如下图所示的表格中的学生信息，应该来自于后台，那么我们的后台和前端是互不影响的2个程序，那么我们前端应该如何从后台获取数据呢？因为是2个程序&#xf…
阅读更多...
【无法下载github文件】虚拟机下ubuntu无法拉取github文件

【无法下载github文件】虚拟机下ubuntu无法拉取github文件

修改hosts来进行解决。 步骤一：打开hosts文件 sudo vim /etc/hosts步骤二：查询 github.com的ip地址 https://sites.ipaddress.com/github.com/#ipinfo将github.com的ip地址添加到hosts文件末尾，如下所示。 140.82.114.3 github.com步骤三…
阅读更多...
【Idea启动项目报错NegativeArraySizeException】

【Idea启动项目报错NegativeArraySizeException】

项目场景： Idea启动项目报错（打包不报错），项目在服务器部署运行没有问题，尝试了重启idea、重启电脑、maven clean/install 都不行 maven-resources-production:sample: java.lang.NegativeArraySizeException: -5833…
阅读更多...
【 MySQL 学习2】常用命令

【 MySQL 学习2】常用命令

文章目录 一、基础命令1.1、登录1.2 、退出1.3、查看数据库中有哪些数据库1.4 、选择使用的数据库1.5、创建数据库1.6 查看哪个数据库下有哪些表 二、SQL语句的分类2.1 DQL 数据查询语言2.2 DML 数据操作语言2.3 DDL 数据定义语言2.4 TCL 事物控制语言2.5 DCL 数据控制语言 三、…
阅读更多...
JVM直击重点

JVM直击重点

JVM直击重点 JVM内存模型 JVM中类加载器分类与核心功能 Java里有如下几种类加载器 引导类加载器：负责加载支撑JVM运行的位于JRE的lib目录下的核心类库，比如rt.jar、charsets.jar等 扩展类加载器：负责加载支撑JVM运行的位于JRE的lib目录下的e…
阅读更多...
图数据库 | 18、高可用分布式设计（中）

图数据库 | 18、高可用分布式设计（中）

上文我们聊了在设计高性能、高可用图数据库的时候，从单实例、单节点出发，一般有3种架构演进选项：主备高可用，今天我们具体讲讲分布式共识，以及大规模水平分布式。 主备高可用、分布式共识、大规模水平分布式&#xff…
阅读更多...
【常见BUG】Spring Boot 和 Springfox（Swagger）版本兼容问题

【常见BUG】Spring Boot 和 Springfox（Swagger）版本兼容问题

???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老…
阅读更多...
关于vite+vue3+ts项目中env.d.ts 文件详解

关于vite+vue3+ts项目中env.d.ts 文件详解

env.d.ts 文件是 Vite 项目中用于定义全局类型声明的 TypeScript 文件。它帮助开发者向 TypeScript提供全局的类型提示，特别是在使用一些特定于 Vite 的功能时（如 import.meta.env）。以下是详细讲解及代码示例 文章目录 **1. env.d.ts 文件的…
阅读更多...
数字化时代，传统代理模式的变革之路

数字化时代，传统代理模式的变革之路

在数字化飞速发展的今天，线上线下融合（O2O）成了商业领域的大趋势。这股潮流，正猛烈冲击着传统代理模式，给它带来了新的改变。 咱们先看看线上线下融合现在啥情况。线上渠道那是越来越多，企业纷纷在电商平台…
阅读更多...
接口测试自动化实战（超详细的）

接口测试自动化实战（超详细的）

🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 前言 自从看到阿里云性能测试 PTS 接口测试开启免费公测，就想着跟大家分享交流一下如何实现高效的接口测试为出发点，本文包含了我在接口测…
阅读更多...
意图颠覆电影行业的视频生成模型：Runway的Gen系列

意图颠覆电影行业的视频生成模型：Runway的Gen系列

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍Runway开发的视频生成模型Gen系列，包括Gen-1、Gen-2和Gen3 Alpha等，这些模型每次发布都震惊AI圈，荣获多个视频生成的…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023