python:bs4爬取奥特曼,是不是所有奥特曼都长一样

利用python+bs4爬取奥特曼粉丝联盟的奥特曼图片,难点把其实也没有,就是爬虫不经常搞,容易忘记一些东西。废话不多说,直接上代码

主要引包

import os
from pathlib import Path
from bs4 import BeautifulSoup
from requests import Session

  • os模块在这里的功能就是判断路径是否存在的
  • pathlib模块主要是获取路径用的
  • BeautifulSoup就是解析库,也是主要的爬取数据库
  • requests库调用了Session(类似一个浏览器),主要用于请求获取页面的

代码整合

import os
from pathlib import Path
from bs4 import BeautifulSoup
from requests import Sessionclass UltramanCrawling:def __init__(self):self.s = Session()self.s.headers.update({"User-Agent": "Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0"})def request_url(self, url):"""返回解码后,然后再解析的html树:param url::return:"""response = self.s.get(url=url)response.encoding = "gbk"return BeautifulSoup(response.text, 'lxml')def handle_tree(self):"""处理树:return:"""soup = self.request_url("http://www.ultramanclub.com/allultraman/")# 拿到奥特曼一览版块ultraheros = soup.find("div", class_="ultraheros-Contents_Lists")# 拿到lists下的标签树ultraheros_lists = ultraheros.find("ul", class_="lists")name_lists, url_lists = [], []# 循环获取奥特曼名称,并插入列表for name in ultraheros_lists.find_all("p"):name_lists.append(name.text.rstrip())# 循环获取奥特曼头像,并插入列表for img_url in ultraheros_lists.find_all("img"):url_lists.append(img_url.attrs["src"].replace(".", "http://www.ultramanclub.com/allultraman", 1))return name_lists, url_listsdef run_main(self):"""爬虫入口,并执行存储操作:return:"""# 利用enumerate函数,获取url_lists中的索引和值name_lists, url_lists = self.handle_tree()for i, url in enumerate(url_lists):# 图片地址取请求接口下载response = self.s.get(url=url)# 判断是否请求成功if response.ok:# 拿取路径,更换图片保存的后缀名,进行存错with open(self.is_exists(name_lists[i] + ".png"), 'wb') as save:save.write(response.content)else:print("全部下载完成")@staticmethoddef is_exists(name: str):"""静态方法,执行路径判定是否存在:param name::return:"""base_dir = Path(__file__).parent.joinpath("UltramanImg")if not os.path.exists(base_dir):os.mkdir(base_dir)return base_dir.joinpath(name)if __name__ == '__main__':# 创建对象,调用运行方法UltramanCrawling().run_main()

上述代码直接给封装成了一个爬虫类,里面的一些方法也都写了注释,有python基础的几乎都能看得懂,没啥技术难点。

展示结果

 

从结果可以看到,奥特曼都长一样的定义是错的,请相信这个世界有光,也请相信这个世界是有奥特曼的 !!!!!


以上总结或许能帮助到你,或许帮助不到你,但还是希望能帮助到你,如有疑问、歧义,直接私信留言会及时修正发布;非常期待你的点赞和分享哟,谢谢!

未完,待续…

一直都在努力,希望您也是!

微信搜索公众号:就用python

作者:李 锋|编辑排版:梁莉莉

更多内容欢迎关注公众号

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/20633.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【业界思考】Sam Altman 山姆奥特曼:Idea Generation 创意产生——优秀的创始人对任何事情都有很多想法

Sam Altman 山姆奥特曼:Idea Generation 创意产生——优秀的创始人对任何事情都有很多想法 文章目录 Sam Altman 山姆奥特曼:Idea Generation 创意产生——优秀的创始人对任何事情都有很多想法优秀的创始人对任何事情都有很多想法How do you do that? 你是怎样做的?最好的想…

圆谷英二——特摄电影的开创者

圆谷英二——特摄电影的开创者 圆谷英二人物记录_2019_06_09在成为摄影师之前特摄生涯的开始--《哥斯拉》奥特曼系列《奥特Q的老爹》后记 圆谷英二人物记录_2019_06_09 日本“特摄之神”圆谷英二的生平概述,转述资料片的内容,记录后世人眼中这位工匠的人…

爆火情侣竟不是真人!新版Midjourney效果炸裂,网友:太可怕了

金磊 鱼羊 Pine 发自 凹非寺量子位 | 公众号 QbitAI 注意看,这张情侣照在网上转疯了: 旧厂街风格,带着浓浓90年代氛围感,但是,他俩一夜爆火的原因,你可能想象不到—— 这二位并不是真人!而是由A…

随机种子 3407 is all you need

文 | 天于刀刀 你最常用的随机种子是哪个? 在刀刀的团队里,关于随机种子的设置主要分化为两派~ 玄学派,可能设置为自己的纪念日,又或者是星座预测中的本月幸运数字; 以及,自然派,随机种子是啥其…

入门AI到入职,微软首席算法工程师有话要说!

原文来自:异步图书 一边呼吁停止GPT-5研发,一边大肆买入几千台GPU、招募AI牛人成立X.AI搞大模型,马斯克要和OpenAI正面对抗了! 在ChatGPT发布之前,马斯克就曾表示OpenAI已经背离了其初衷,背弃了开源理念。G…

腾讯T9级.NET Core招聘又来了,月薪30k+

朝夕Net社区 2022-09-05 18:30 今年腾讯阿里裁员消息屡见不鲜,边裁边招才是真相,随着金九银十到来,腾讯T9级.NET Core招聘又来了,月薪30k,依然香!这里推荐个.NET跳槽交流群,有技术交流&#xff…

月薪10.8K,从销售客服转行软件测试斩获4份offer,所有的惊艳都来自长久的准备

时间不会辜负努力的人,不要质疑你的付出,每一次的努力都是在为自己铺路,所有看起来的幸运,都来自于内心的坚定。今天跟大家分享的是我的转行经历,希望所有人今天的努力,在未来都可以收获一个更好的自己。 斟…

这个高薪行业正在大量招人,你会考虑吗?

作者 | 侯淼淼 出品 | 《新程序员》 当人们提及“程序员”这一职业的时候,大多数人的第一想法往往是高薪。然而近年来,随着造车势力的兴起,新一轮的高薪岗位抢人大战正式打响。2021年以来,一汽、东风等传统车厂招聘岗位数量…

月薪10.8K|销售客服转行软件测试斩获4份offer,所有的惊艳都来自长久的准备

时间不会辜负努力的人,不要质疑你的付出,每一次的努力都是在为自己铺路,所有看起来的幸运,都来自于内心的坚定。今天跟大家分享的是近期就业的韩同学的转行经历,希望所有人今天的努力,在未来都可以收获一个…

杭州一公司开出20万月薪/320万年薪抢人!ChatGPT掀起AI热潮,AIGC人才被爆抢

5年工作经历,博士学位,最高月薪20万。 最近,位于杭州未来科技城一家公司,开出了最高320万年薪,招聘AIGC方向算法工程师一名。 ChatGPT在全球掀起了AI热潮,国内互联网大厂纷纷加入战局打造国内版ChatGPT。…

ChatGPT催生的高薪职业,竟然会是它?

ChatGPT 的兴起,催生了一个“与众不同”的新职业 —— prompt engineer (提示工程师)。主要职责是负责为 AI 聊天机器人生成的文本、图片、音频等内容添加关键词和提示,从而指导 AI 聊天机器人根据特定的目标和情境生成更符合用户…

企业高薪招人,近5成岗位月薪过万

据前瞻产业研究院发布的《中国网络游戏行业商业模式创新与投资机会分析报告》显示:2020年,我国网络游戏用户规模达到5.18亿人,市场规模达到2786.9亿元。此外,我国自主研发实力增强,自主研发游戏收入规模持续增长&#…

ChatGPT-5相比ChatGPT-4,将会有哪些变化?

ChatGPT-5 将会2023年12月发布。ChatGPT-5将会是跨时代的版本,将重新彻底引爆GPT。ChatGPT-5相比ChatGPT-4,将会有哪些变化? 最近我创建了一个知识星球,叫【ChatGPT前沿玩法圈】,会把把我玩ChatGPT的经验和总结&#x…

智能GPT结合苹果Siri等于孩子们的十万个为什么,未来已来

引言: 今天是6.1儿童节,我约了朋友,让小朋友们一起到公园玩耍。在玩耍的过程中,我的孩子和其他小朋友时不时地会提出各种问题和疑惑,比如:“为什么四叶草只有三片叶子?”、“为什么长颈鹿要吃骨…

面试碰壁如何力挽狂澜,有了这份Android指南你也可以有绿色通道!

简历怎样写才能过初步筛选?大厂面试到底要求什么,关注什么?技术面试如何展示自己的实力? 95% 的面试者都有这些疑问,所以今天,给大家分享一些面试准备的干货: 一、简历要有含金量 一份漂亮的…

记录一次锁的优化

项目背景 老规矩,先讲讲项目背景。可跳过。 小工具类的微系统。 我们会有一些文本语义描述的事件。譬如某小区两户人家因为宠物发生了争吵,比如某人拨打12345热线反映小区深夜还在跳广场舞等等。这些统称事件。 小学语文老师告诉我们描述事件的叙述文三要…

腾讯云 面试题汇总_1(第一套)

腾讯云暑期实习前端开发3.23 3.27总结完后 使劲背!把不会的题全总结一遍 坐在走廊上背完 1.自我介绍(稍稍被打断了一下问了项目中的一个问题) 2.问项目,引到为什么不在上一个公司继续做 3.问我硕士专业是干啥的,硕士学…

马斯克奇葩新规激怒用户,网友气炸狂喷,推特大宕机!

省时查报告-专业、及时、全面的行研报告库 省时查方案-专业、及时、全面的营销策划方案库 【免费下载】2023年5月份全网热门报告合集 普通人如何利用ChatGPT变现赚钱? 无需翻墙,无需注册,ChatGPT4直接使用 ChatGPT提词手册,学完工…

马斯克奇葩新规激怒用户!网友气炸狂喷,推特大宕机

杨净 明敏 发自 凹非寺 抑郁马斯克,又开始与网友们对线battle。随便社交网站一看,一眼望去be like: 马斯克终于杀死了Twitter! 前脚马斯克设立新规:不登录不给看。后脚推特直接被搞崩,直至现在还有用户登不…

未来3年,请善待你的工作

作者| Mr.K 编辑| Emma 来源| 技术领导力(ID:jishulingdaoli) “如果不是现在环境差,下家不好找,我早TM跟那个傻X老板翻桌子走人了,这破公司我真是一天都不想待…”这是一位粉丝朋友给K哥私信中的一段话。类似同款的话&#xff…