Python爬虫——爬取bilibili中的视频

爬取bilibili中的视频

在这里插入图片描述

  • 本次爬取，还是运用的是requests方法

  • 首先进入bilibili官网中，选取你想要爬取的视频，进入视频播放页面，按F12，将网络中的名称栏向上拉找到第一个并点击，可以在标头中，找到后续我们想要的一些信息。
    在这里插入图片描述

  • 爬取视频的步骤大致分为

    • 1、UA伪装
    • 2、获取url
    • 3、发送请求
    • 4、获取响应的数据
    • 5、数据解析
      • 获取存放视频和音频数据的"window.playinfo"文本内容
      • 分别获取视频和音频的url
      • 将获取到的视频和音频数据存放在两个不同的文件中

  • UA伪装

    • 找到Cookie并复制—>用户登陆此网站的个人Cookie信息，每个人的都不同
    • 找到Referer并复制—>每个网站的防盗链
    • 找到User-Agent并复制—>标头的最下面
      在这里插入图片描述
      在这里插入图片描述
      # UA伪装head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"# 防盗链子, "Referer":"https://www.bilibili.com/","Cookie":"CURRENT_FNVAL=4048; buvid3=BE2D386A-BBCB-E06E-8C2B-F5223B4C8BC517591infoc; b_nut=1721567317; _uuid=67165DF10-7B77-BDE8-3C63-732C2FCAF4D520375infoc; enable_web_push=DISABLE; buvid4=0245F01B-6C4B-CD5A-2EC5-BC060EC0777D18433-024072113-zRTpkL0r94scQqxGfSYKhQ%3D%3D; home_feed_column=5; header_theme_version=CLOSE; rpdid=|(Y|RJRR)Y~0J'u~kulY~Rkk; DedeUserID=1611307689; DedeUserID__ckMd5=b0865dba0b3ced5b; buvid_fp_plain=undefined; is-2022-channel=1; b_lsid=D8542F24_191412D93C0; bsource=search_bing; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; browser_resolution=1659-943; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjM2MzQ1OTMsImlhdCI6MTcyMzM3NTMzMywicGx0IjotMX0.Ox8rnEpQH5i1H_wQfH2z5CzZC0y8PlqQCy1KVa8XEfQ; bili_ticket_expires=1723634533; SESSDATA=f567fef6%2C1738927393%2C5d207%2A82CjAh2pSUKwDLr1XiI6ncU5B6NXEfWKS7ES6mDC8yGxM6aT3-BTdvK0KAlYpMhCXtEXgSVkl2aTlQWUNacTZOZ0ZNXzJwZ21QT2ozMXFXcWtFc1FpNnBIWlNWbml2Y3BxNV80bUNMZTBVN1dyb3h0STU1ZklDM0MwckJvanRmTmNkeTBFcW5qYl9RIIEC; bili_jct=8d788bcb503d69ba2ded7dfbb53f6e58; sid=71po5kkf; fingerprint=0c7279b7c69b9542a76b8d9df9b7872a; buvid_fp=BE2D386A-BBCB-E06E-8C2B-F5223B4C8BC517591infoc; bp_t_offset_1611307689=964382000909647872"}

  • 获取url

    • 可以在标头中看到请求URL
      在这里插入图片描述

      # 指定url 自定义一个变量接收url = "https://www.bilibili.com/video/BV17w4m1e7PT/?spm_id_from=333.1007.tianma.1-1-1.click&vd_source=2a6e427465a2f829272f5863986dfa80"

  • 发送请求

    • 可以在标头中看到请求方式，这里的请求方式是GET方法
      在这里插入图片描述
      # 发送请求，这里的请求方式是get方法
response = requests.get(url, headers = head)

  • 获取响应的数据

    • 这里使用requests中的.text方法
      # 获取响应的数据
res_text = response.text

  • 数据解析

    • 使用 lxml 库中的 etree 方法

    • 并将获取到的数据写入到一个html的文件中，进入这个文件可以通过浏览器打开，查看是否是我们将要获取视频的页面

      tree = etree.HTML(res_text)with open("bili2.html", "w", encoding="utf-8") as f:f.write(res_text)

    • 获取存放视频和音频数据的"window.–playinfo–"文本内容

      • 因为视频和音频的数据都存在window.–playinfo–中，因此我们需要在元素栏下通过标签定位到它，但是我们只需要其内容

      • 因为window.–playinfo–的内容是一个大json字符串，所以我们可以通过json.loads的方法将它变成一个字典，方便后面通过键来取视频和音频的数据
        在这里插入图片描述

        base_info = "".join(tree.xpath("/html/head/script[4]/text()"))[20:]
info_dict = json.loads(base_info)

    • 分别获取视频和音频的url

      • 在元素栏中可以看出window.–playinfo–的内容太多了，不利于我们寻找视频和音频的数据，我们可以在网络栏下，名称中第一个数据的响应中也可以找到，耐心一点向下慢慢通过标签找到window.–playinfo–，再在其中找到视频和音频的baseUrl

      • 获取后，再次通过get请求方式，发送请求

      • 注意:图片，视频和音频都是二进制内容，所以用content属性获取
        在这里插入图片描述
        在这里插入图片描述
        在这里插入图片描述

        video_url = info_dict["data"]["dash"]['video'][0]["baseUrl"]
audio_url = info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content = requests.get(video_url, headers=head).content
audio_content = requests.get(audio_url, headers=head).content

  • 最后将获取到的视频和音频的数据分别存放在两个不同的文件中，视频可以是MP4或者是wmv格式，音频是MP4格式

with open("video2.wmv", "wb") as f:f.write(video_content)with open("audio2.mp4", "wb") as fp:fp.write(audio_content)
  • 完整代码
import requests
from lxml import etree
import jsonif __name__ == '__main__':# UA伪装head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"# 防盗链子, "Referer":"https://www.bilibili.com/","Cookie":"CURRENT_FNVAL=4048; buvid3=BE2D386A-BBCB-E06E-8C2B-F5223B4C8BC517591infoc; b_nut=1721567317; _uuid=67165DF10-7B77-BDE8-3C63-732C2FCAF4D520375infoc; enable_web_push=DISABLE; buvid4=0245F01B-6C4B-CD5A-2EC5-BC060EC0777D18433-024072113-zRTpkL0r94scQqxGfSYKhQ%3D%3D; home_feed_column=5; header_theme_version=CLOSE; rpdid=|(Y|RJRR)Y~0J'u~kulY~Rkk; DedeUserID=1611307689; DedeUserID__ckMd5=b0865dba0b3ced5b; buvid_fp_plain=undefined; is-2022-channel=1; b_lsid=D8542F24_191412D93C0; bsource=search_bing; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; browser_resolution=1659-943; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjM2MzQ1OTMsImlhdCI6MTcyMzM3NTMzMywicGx0IjotMX0.Ox8rnEpQH5i1H_wQfH2z5CzZC0y8PlqQCy1KVa8XEfQ; bili_ticket_expires=1723634533; SESSDATA=f567fef6%2C1738927393%2C5d207%2A82CjAh2pSUKwDLr1XiI6ncU5B6NXEfWKS7ES6mDC8yGxM6aT3-BTdvK0KAlYpMhCXtEXgSVkl2aTlQWUNacTZOZ0ZNXzJwZ21QT2ozMXFXcWtFc1FpNnBIWlNWbml2Y3BxNV80bUNMZTBVN1dyb3h0STU1ZklDM0MwckJvanRmTmNkeTBFcW5qYl9RIIEC; bili_jct=8d788bcb503d69ba2ded7dfbb53f6e58; sid=71po5kkf; fingerprint=0c7279b7c69b9542a76b8d9df9b7872a; buvid_fp=BE2D386A-BBCB-E06E-8C2B-F5223B4C8BC517591infoc; bp_t_offset_1611307689=964382000909647872"}# 1、指定urlurl = "https://www.bilibili.com/video/BV17w4m1e7PT/?spm_id_from=333.1007.tianma.1-1-1.click&vd_source=2a6e427465a2f829272f5863986dfa80"# 2、发送请求response = requests.get(url, headers = head)# 3、获取响应的数据res_text = response.text# 4、数据解析tree = etree.HTML(res_text)with open("bili2.html", "w", encoding="utf-8") as f:f.write(res_text)base_info = "".join(tree.xpath("/html/head/script[4]/text()"))[20:]info_dict = json.loads(base_info)video_url = info_dict["data"]["dash"]['video'][0]["baseUrl"]audio_url = info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content = requests.get(video_url, headers=head).contentaudio_content = requests.get(audio_url, headers=head).contentwith open("video2.wmv", "wb") as f:f.write(video_content)with open("audio2.mp4", "wb") as fp:fp.write(audio_content)
  • 注意！！！注意！！！注意！！！
  • 获取到的是视频和音频两个文件，所以播放时也只能分开播放，也有方法可以将其合并，但是比较繁琐，可以先通过这种方法获取视频练一练，后期再学习合并的方法。
  • 其实有一种很简单的方法就是将这两个文件，放到剪映中合并，效果也是一样的
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/397865.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Ps：通过 RGB 值计算 HSB 值

Ps：通过 RGB 值计算 HSB 值

在 Photoshop 中，HSB（色相、饱和度和明度）仅作为表达颜色的一种方式而存在，并不是一种颜色模式。 色相/饱和度命令就是基于色彩三要素进行调色的常用命令。 还有一个与 HSB 相关的滤镜：HSB/HSL 滤镜，用于实…
阅读更多...
什么是交互测试?

什么是交互测试?

最近有接触到一个有趣的名词：交互测试。 在对这个名词进行解释之前，我先去特意请教了一个产品经理朋友，问下交互的概念。于是知道了我们的行业里面还有很多个有趣的职位：交互设计师、UE、UI、前端、设计.....等等等等这些&#x…
阅读更多...
C语言——查漏补缺

C语言——查漏补缺

前言 本篇博客主要记录一些C语言的遗漏点，完成查漏补缺的工作，如果读者感兴趣，可以看看下面的内容。都是一些小点，下面进入正文部分。 1. 字符汇聚 编写代码，演示多个字符从两端移动，向中间汇聚 #inclu…
阅读更多...
Linux：多线程（三.POSIX信号量、生产消费模型、线程池、其他常见的锁）

Linux：多线程（三.POSIX信号量、生产消费模型、线程池、其他常见的锁）

上次讲解了：Linux：多线程（二.理解pthread_t、线程互斥与同步、基于阻塞队列的生产消费模型） 文章目录 1.POSIX信号量1.1引入1.2回顾加深理解信号量1.3信号量的操作接口 2.基于循环队列的生产消费模型2.1循环队列2.2整个项目 3.线程…
阅读更多...
网络协议七 应用层 HTTP 协议

网络协议七 应用层 HTTP 协议

应用层常见的协议 HTTP协议 一. 如何查看我们的http 协议全部的内容有哪些呢？ 一种合理的方法是 通过 wireshark 软件，找到想要查看的HTTP --->追踪流--->HTTP流 来查看 结果如下：红色部分 为 发送给服务器的，蓝色部分为服…
阅读更多...
40【源码】数据可视化：基于 Echarts + Python 动态实时大屏 - 无线网络大数据平台

40【源码】数据可视化：基于 Echarts + Python 动态实时大屏 - 无线网络大数据平台

数据可视化大屏的出现，掀起一番又一番的浪潮，众多企业主纷纷想要打造属于自己的“酷炫吊炸天”的霸道总裁大屏驾驶舱。 之前有小伙伴们建议我出一些视频课程来学习Echarts，这样可以更快上手，所以我就追星赶月的录制了《Echarts -…
阅读更多...
为什么在职场上大家都在装，别人才会觉得你很强

为什么在职场上大家都在装，别人才会觉得你很强

在职场中，有时候会发现那些看似强大的人并不一定是真的强，而是他们懂得如何装出来。 上班就如甄嬛传里的宫斗，懂得“装”是一种智慧和生存技能。为什么在职场要会装？别人才会觉得你很强？ 1、装冷脸形象没坏处 在职场…
阅读更多...
C语言 | Leetcode C语言题解之第327题区间和的个数

C语言 | Leetcode C语言题解之第327题区间和的个数

题目： 题解： int countRangeSumRecursive(long long* sum, int lower, int upper, int left, int right) {if (left right) {return 0;} else {int mid (left right) / 2;int n1 countRangeSumRecursive(sum, lower, upper, left, mid);int n2 cou…
阅读更多...
中国自动驾驶出租车冲击网约车市场

中国自动驾驶出租车冲击网约车市场

近年来，中国的自动驾驶技术迅速发展，对传统网约车市场构成了越来越大的冲击。随着科技巨头百度旗下的萝卜快跑等公司加速推广无人驾驶出租车，这一趋势引发了广泛的讨论和担忧。 自动驾驶技术的迅猛发展 中国自动驾驶行业正处于快速发展阶段&…
阅读更多...
企业数字化转型解决方案

企业数字化转型解决方案

企业数字化转型解决方案旨在通过系统化的方法和先进技术，帮助企业在数字时代实现全面的业务升级和优化。首先，解决方案包括构建和部署强大的数字基础设施，如云计算平台、大数据分析系统和物联网设备，以支持企业的业务运营和数据处…
阅读更多...
一个人活成一个团队：python的django项目devops实战

一个人活成一个团队：python的django项目devops实战

文章目录 一、需求规划二、代码管理三、创建流水线1、配置流水线源 四、自动测试五、自动构建六、自动部署七、总结 对于开发团队来说提高软件交付的速度和质量是一个永恒的话题，对于个人开发者来说同样如此。作为一个码农，一定会有几个自己私有的小项目…
阅读更多...
Mysql 脚本转换为drawio ER 脚本

Mysql 脚本转换为drawio ER 脚本

Navicat 导出数据库脚本 通过代码转换脚本 import java.io.BufferedReader; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.util.regex.Matcher; import java.util.regex.Pattern;/*** SQL 脚本转换为 drawio ER 脚本*/ pu…
阅读更多...
【C++指南】函数重载：多态性的基石

【C++指南】函数重载：多态性的基石

💓 博客主页：倔强的石头的CSDN主页 📝Gitee主页：倔强的石头的gitee主页 ⏩ 文章专栏：《C指南》 期待您的关注 目录 引言 一、函数重载的概念 二、函数重载的原理 三、函数重载的应用场景 四、函数重载的规则 五…
阅读更多...
使用 Vue 官方脚手架初始化 Vue3 项目

使用 Vue 官方脚手架初始化 Vue3 项目

Vite 官网：https://cn.vitejs.dev/ Vue 官网：https://vuejs.org/ Vue 官方文档：https://cn.vuejs.org/guide/introduction.html Element Plus 官网：https://element-plus.org/ Tailwind CSS 官网：https://tailwindcss.…
阅读更多...
Xilinx课程，就这么水灵灵地上线了~

Xilinx课程，就这么水灵灵地上线了~

如果你想了解： 如何利用精通流水线（Pipeline）技术，让电路设计效率倍增？ 如何掌握利用性能基线指导设计流程的方法？ 如何理解集成电路设计中的UltraFast Design Methodology Implementation设计方法学中的…
阅读更多...
100 Exercises To Learn Rust 挑战！准备篇

100 Exercises To Learn Rust 挑战！准备篇

公司内部的学习会非常活跃！我也参与了Rust学习会，并且一直在研究rustlings。最近，我发现了一个类似于rustlings的新教程网站：Welcome - 100 Exercises To Learn Rust。 rustlings是基于Rust的权威官方文档《The Rust Programming…
阅读更多...
docker技术中docker-compose与harbor技术

docker技术中docker-compose与harbor技术

docker-composeharbor docker网络概念 当大规模使用docker时，容器间通信就成了一个问题。 docker支持的四种网络模式在run时指定 host模式 --nethost 容器和宿主机共享一个网络命名空间 container模式 --net{容器id} 多个容器共享一个网络 none模式 --netnone …
阅读更多...
【深度学习】TTS，CosyVoice，推理部署的代码原理讲解分享

【深度学习】TTS，CosyVoice，推理部署的代码原理讲解分享

文章目录 demo代码加载配置文件speech_tokenizer_v1.onnx（只在zero_shot的时候使用）campplus.onnx（只为了提取说话人音色embedding）`campplus_model` 的作用代码解析具体过程解析总结示意图CosyVoiceFrontEndCosyVoiceModel推理过程总体推理过程推理速度很慢： https://git…
阅读更多...
基于Python爬虫+机器学习的长沙市租房价格预测研究

基于Python爬虫+机器学习的长沙市租房价格预测研究

🤵‍♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞&#x1f4…
阅读更多...
数据库（三）：DML

数据库（三）：DML

DML，全称Data Manipulation Language（数据操作语言），用来对数据库中表的数据记录进行增、删、改、查。 一、添加数据（INSERT） 注意事项： ①插入数据时，指定的字段顺序需要与值的顺序…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023