哔哩哔哩IT私塾python爬虫视频教程中的项目文件

视频链接：
Python课程天花板,Python入门+Python爬虫+Python数据分析5天项目实操/Python基础.Python教程_哔哩哔哩_bilibili

视频教程中要访问的链接：
豆瓣电影 Top 250

httpbin.org

seo推广公司网站模板_站长素材

Examples - Apache ECharts

WordCloud for Python documentation — wordcloud 1.8.1 documentation

BeautifulSoup：
用于解析HTML/XML文档，提取和操纵网页数据，常用于网页抓取。

re（正则表达式库）：
提供正则表达式支持，用于字符串匹配、搜索和替换，适合数据清洗和验证。

urllib：
处理URL和从网络获取数据，包括打开URL、处理异常和解析URLs，便于网页数据抓取。

xlwt：
将数据写入旧版Excel文件（.xls），提供创建工作簿、工作表和写入数据的API。

Flask：
轻量级Web应用框架，使用WSGI，提供路由和模板引擎，适合快速开发Web应用。

jieba：
中文分词库，将中文文本切分为词语，是生成词云前的重要步骤。

matplotlib：
绘图库，提供丰富的绘图功能，用于显示或保存生成的图表，如词云图。

wordcloud：
生成词云的库，词云中词语大小表示其在文本中的出现频率，用于文本可视化。

PIL (Pillow)：
图像处理库，用于打开、操作和保存多种格式图像，常用于生成词云时的遮罩图片处理。

numpy：
数学函数库，提供大型多维数组和矩阵运算支持，常用于图像处理（如转换为数组）和数据分析。

sqlite3：
SQLite数据库接口库，提供轻量级、嵌入式的关系型数据库管理功能，用于数据检索和存储。

第一个项目douban（纯python项目）：爬取数据并保存到xls和数据库
spider.py

# -*- coding = utf-8 -*-from bs4 import BeautifulSoup
import re
import urllib.request, urllib.error, urllib.parse
import xlwt
import sqlite3def main():baseurl = 'https://movie.douban.com/top250?start='# 1、爬取网页datalist = getData(baseurl)savepath1 = "./豆瓣电影Top250.xls"saveData(datalist,savepath1)savepath2 = "./豆瓣电影Top250.db"initDB(savepath2)saveData2DB(datalist,savepath2)# 影片链接的匹配规则
findLink = re.compile(r'<a href="(.*?)">')    # 匹配规则的正则表达式对象
# 影片图片
findImg = re.compile(r'<img.*src="(.*?)"', re.S)    #re.S忽略换行符
# 影片片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
# 影片的评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
# 影片评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>', re.S)
# 影片的概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
# 影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>', re.S)def getData(baseurl):datalist = []num = 0# 2、逐一解析数据for i in range(0, 25):   # 调用获取页面信息的函数 10次url = baseurl + str(i*25)html = askURL(url)  # 保存获取到的单个页面的网页源码# html = urllib.request.urlopen(url).read()# 逐一解析数据soup = BeautifulSoup(html, 'html.parser')for item in soup.find_all("div", class_="item"):# 定位获取所需的标签内容# print(item) # 测试：单个电影itemdata = []item = str(item)link = re.findall(findLink, item)[0].replace('\xa0', "")    # \xa0（不间断空白符）data.append(link)imgSrc = re.findall(findImg, item)[0].replace('\xa0', "")data.append(imgSrc)title = re.findall(findTitle, item)if(len(title) >= 2):ctitle = title[0].replace('\xa0', "")data.append(ctitle)ftitle = title[1].replace('/',"").replace('\xa0', "")data.append(ftitle)elif(len(title) == 1):data.append(title[0].replace('\xa0', ""))data.append(" ")    # 第二个名称留空rating = re.findall(findRating, item)[0].replace('\xa0', "")data.append(rating)judge = re.findall(findJudge, item)[0].replace('\xa0', "")data.append(judge)inq = re.findall(findInq, item)if len(inq) != 0:inq = inq[0].replace('。',"").replace('\xa0', "")data.append(inq)else:data.append(" ")bd = re.findall(findBd, item)[0].replace('\xa0', "")bd = re.sub(r'<br(\s+)?/>(\s+)?', " ", bd)bd = re.sub('/', ' ', bd)data.append(bd.strip())if data:num +=1datalist.append(data)print(datalist)print(num)return datalist# 得到指定一个URL的网页内容
def askURL(url):# 模拟浏览器头部信息head = {    # 这里访问的是www.douban.com，加上cookie才成功访问，不然会403"cookie":'''bid=lmDVVK_MwCE; dbcl2="287312225:gaIljLl3paE"; ck=A87B; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1740403496%2C%22https%3A%2F%2Faccounts.douban.com%2F%22%5D; _pk_id.100001.4cf6=c5aee2ffb5a4b0b1.1740403496.; push_noty_num=0; push_doumail_num=0; __yadk_uid=FMUehx3EWLsxQlgs8OU0iEQf5rgnlRfM''',"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36 Edg/133.0.0.0" }# 用户代理： 表示告诉浏览器我们是什么类型的机器、浏览器（我们能接受什么信息）req = urllib.request.Request(url, headers=head)html = ""try:response = urllib.request.urlopen(req)html = response.read().decode("utf-8")# print(html)except urllib.error.URLError as e:if hasattr(e, 'code'):  # hasattr 含有指定变量与否print(e.code)if hasattr(e, 'reason'):print(e.reason)return htmldef saveData(datalist,savepath):print("save...")book = xlwt.Workbook(encoding='utf-8', style_compression = 0)sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)col = ("电影详情链接", "图片链接", "影片中文名", "影片外国名", "评分", "评价数", "概括", "相关信息")for i in range(0, 8):sheet.write(0, i, col[i])for i in range(0,250):print("第%d条"%(i+1))data = datalist[i]for j in range(0,8):sheet.write(i+1, j, data[j])book.save(savepath)def saveData2DB(datalist,savepath):conn = sqlite3.connect(savepath)c = conn.cursor()print("豆瓣电影-------------------------------------------",len(datalist))for data in datalist:for i in range(len(data)):if i == 4 or i == 5:passelse:data[i] = '"'+str(data[i])+'"'sql = '''insert into movie250 (info_link,pic_link,cname,fname,score,rated,instroduction,relax_info)values (%s)'''%",".join(data)print(sql)c.execute(sql)conn.commit()conn.close()print("成功保存到数据库")def initDB(dbpath):sql = '''create table if not exists movie250 (id integer primary key autoincrement,info_link text,pic_link text,cname varchar,fname varchar,score numeric,rated numeric,instroduction text,relax_info text)'''conn = sqlite3.connect(dbpath)c = conn.cursor()c.execute(sql)conn.commit()conn.close()if __name__ == '__main__':main()

第二个项目douban_flask（flask项目）：把第一个项目得到的数据库文件的数据可视化
这里只给出python文件，其他文件看教程视频自行下载或看上传的资源又或者GitHub - chenzanhong/Douban_DataVis: 把项目douban获取到的数据（movie.db）可视化：
app.py：

from flask import Flask,render_template
import sqlite3app = Flask(__name__)@app.route('/')
def index():  # put application's code herereturn render_template('index.html')@app.route('/index')
def home():  # put application's code herereturn render_template('index.html')# return index()    # 请求转发@app.route('/movie')
def movie():  # put application's code heredatalist = []conn = sqlite3.connect('豆瓣电影Top250.db')c = conn.cursor()sql = '''select * from movie250'''data = c.execute(sql)for item in data:datalist.append(item)c.close()conn.close()return render_template('movie.html', movies=datalist)@app.route('/score')
def score():  # put application's code herescore = []  # 评分num = []    # 每个评分的电影数conn = sqlite3.connect('豆瓣电影Top250.db')c = conn.cursor()sql = '''select score,count(score) from movie250 group by score'''data = c.execute(sql)for item in data:score.append(item[0])num.append(item[1])c.close()conn.close()return render_template('score.html', score=score, num=num)@app.route('/word')
def word():  # put application's code herereturn render_template('word.html')@app.route('/team')
def team():  # put application's code herereturn render_template('team.html')if __name__ == '__main__':app.run()

test_WordCloud.py：

import jieba    # 分词# 设置 Matplotlib 后端（如果需要）
import matplotlib
matplotlib.use('TkAgg')  # 或者 'Agg', 'Qt5Agg', 等，取决于你的系统支持from matplotlib import pyplot as plt    # 绘图，数据可视化
from wordcloud import WordCloud # 词云
from PIL import Image   # 图片处理
import numpy as np  # 矩阵运算
import sqlite3  # 数据库# 准备词云所需的句子
conn = sqlite3.connect('豆瓣电影Top250.db')
c = conn.cursor()
sql = '''select instroduction from movie250'''
data = c.execute(sql)
text = ""
for item in data:text += item[0]# print(item[0])
print(text)
c.close()
conn.close()# 分词
cut = jieba.cut(text)
str = ' '.join(cut)
print(len(str))# 准备
img = Image.open(r'static\assets\img\b.jpg') # 打开遮罩图片
img_array = np.array(img)   # 将图片转换为数据
wc = WordCloud(background_color = 'white',mask = img_array,font_path = r"C:\Windows\Fonts\STXINWEI.TTF",    # 改为自己电脑下的路径scale = 4,  # 缩放# width# height)
wc.generate_from_text(str)# 绘制图片
fig = plt.figure(1)
plt.imshow(wc)
plt.axis('off') # 是否显示坐标轴
# plt.show()  # 显示生成的图片
plt.savefig(r'static\assets\img\b2wc.jpg',dpi=500)  # dpi为清晰度，可选

效果：