Python实战 | 如何抓取tx短片弹幕并作词云图分析

前言

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

本次目的：采集tx短片弹幕,并且做词云图可视化分析

这个不少漫迷应该都看过吧~

哪里都好，就是更新太慢了一点，剧情磨蹭了一点，哎

那今天我们就来采集一下它的弹幕吧，看看其他小伙伴的反应怎么样~

知识点介绍:

基本思路流程
requests模块的使用
pandas读取表格数据

环境介绍:

python 3.8
pycharm
requests >>> pip install requests
pandas >>> pip install pandas
jieba
stylecloud

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

原理:

模拟成浏览器 / 客户端向服务器发送网络请求

如何去实现一个案例:

找数据

静态的数据: 如果在网页源代码当中能够找到的内容静态的数据

动态的数据: 找不到就是动态的

代码实现过程:

发送请求
获取数据
解析数据
保存数据

🎯 博主所有文章素材、解答、源码、教程领取处：点击

代码展示

采集数据

import requests     # 发送请求 第三方模块
import csv          # 内置模块 保存数据

f = open('弹幕.csv', mode='a', newline='', encoding='utf-8-sig')
csv_writer = csv.writer(f)
csv_writer.writerow(['nick', 'create_time', 'content'])

请求头: 伪装

键: 拼音

值: 字

{'user-agent': 'Mozilla/5.0....'} Python叫做字典存储数据的

列表也是存储数据的 []

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36'
}
for i in range(0, 100):

请求方法: GET

1. 发送请求

函数传参默认位置传参, 指定参数传参

    response = requests.get(url, headers=headers)

2. 获取数据

<Response [200]>: 请求成功

.text: 只要是文本内容都可以用.text

.content: 获取二进制数据, 如果当你访问的链接为图片/视频/音频

.json(): 只支持 {}/[] 取出来之后的数据要么是字典要么是列表要么就是报错

    json_data = response.json()

3. 解析数据提取数据

字典(可以通过键取值) 和列表的取值方式

[1,2,3,4,5,6,7]

    barrage_list = json_data['barrage_list']for barrage in barrage_list:content = barrage['content']nick = barrage['nick']create_time = barrage['create_time']print(nick, create_time, content)

4. 保存数据

        csv_writer.writerow([nick, create_time, content])

词云图

import pandas as pd  # 第三方模块
import jieba
import stylecloud# 1. 导入数据
df = pd.read_csv('弹幕.csv')def get_cut_words(content_):# 定义停用词的表stop_words = []with open('stop_words.txt', 'r', encoding='utf-8-sig') as f:lines = f.readlines()for line in lines:stop_words.append(line.strip())# 添加关键词my_words = ['666', '某音']for i in my_words:jieba.add_word(i)word_num = jieba.lcut(content_.str.cat(sep='。'), cut_all=False)word_num_selected = [i for i in word_num if i not in stop_words and len(i) >= 2]return word_num_selectedtext = get_cut_words(df['content'])stylecloud.gen_stylecloud(text=' '.join(text),collocations=False,font_path=r'C:\Windows\Fonts\msyh.ttc',icon_name='fab fa-youtube',size=768,output_name='video.png'
)