爬虫学习日记第八篇（爬取fofa某端口的协议排行及其机器数目，统计top200协议）

需求

找到最常用的200个协议
在这里插入图片描述
通过fofa搜索端口，得到协议排名前五名和对应机器的数目。
遍历端口，统计各个协议对应的机器数目（不准，但能看出个大概）

读写API

API需要会员，一天只能访问1000次。

import base64
import urllib
from time import sleep
import requests
res = {}
def onePort(j):text = 'port="' + str(j) + '"'text = base64.b64encode(text.encode("utf-8")).decode("utf-8")text = urllib.parse.quote(text)URL = f'https://fofa.info/api/v1/search/stats?fields=protocol&qbase64={text}&email=*****&key=*****'r = requests.get(URL)response_dict = r.json()print("当前端口为：",j)print(response_dict)protocols=response_dict['aggs']['protocol']for i in protocols:if i['name'] in res:res[i['name']] = res[i['name']] + i['count']else:res[i['name']] = i['count']print(res)for i in range(1,65535):onePort(i)sleep(10)

爬虫

页面动态加载，由于动态渲染的问题，有的请求返回结果为空。

单线程，未登录爬虫代码


import base64
import json
import urllib
from concurrent.futures import ThreadPoolExecutorfrom selenium import webdriver
from selenium.webdriver.chrome.service import Service
from lxml import etree
from time import sleep
#直接添加这四行代码
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
# options.add_argument('--disable-gpu')failed=[]
success=[]
res = {}
def onePort(j):s = Service(r".\chromedriver.exe")driver = webdriver.Chrome(service=s,options=options)text = 'port="' + str(j) + '"'text = base64.b64encode(text.encode("utf-8")).decode("utf-8")text = urllib.parse.quote(text)print(text)driver.get("https://fofa.info/result?qbase64=" + text)sleep(7)page_text = driver.page_source# print(page_text)tree = etree.HTML(page_text)protos = tree.xpath('//div[@class="hsxa-ui-component hsxa-meta-data-statistical-list hsxa-pos-rel"]/div[13]//li//a/text()')nums = tree.xpath('//div[@class="hsxa-ui-component hsxa-meta-data-statistical-list hsxa-pos-rel"]/div[13]//li//span/text()')for i in range(len(protos)):protos[i] = protos[i].strip(' ')protos[i] = protos[i].strip('\n')protos[i] = protos[i].strip(' ')nums[i] = nums[i].strip(' ')nums[i] = nums[i].strip('\n')nums[i] = nums[i].strip(' ')nums[i] = nums[i].replace(',', '')nums[i] = int(nums[i])if protos[i] in res:res[protos[i]] = res[protos[i]] + nums[i]else:res[protos[i]] = nums[i]print(protos)print(nums)if len(protos) == 0:failed.append(j)else:success.append(j)print("当前端口号：", j)print("失败列表：", failed)print("成功列表：", success)print(res)driver.quit()for j in range(5000,10000):onePort(j)

多线程未登录代码

一定要注意多线程同时读写问题，全局变量上锁

import base64
import json
import urllib
from concurrent.futures import ThreadPoolExecutor
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from lxml import etree
from time import sleep
import threading# 直接添加这四行代码
from selenium.webdriver.chrome.options import Optionsoptions = Options()
options.add_argument('--headless')
# options.add_argument('--disable-gpu')failed = []
success = []
res = {}
lock = threading.Lock()  # 创建线程锁def onePort(j):s = Service(r".\chromedriver.exe")driver = webdriver.Chrome(service=s, options=options)text = 'port="' + str(j) + '"'text = base64.b64encode(text.encode("utf-8")).decode("utf-8")text = urllib.parse.quote(text)print(text)driver.get("https://fofa.info/result?qbase64=" + text)sleep(7)page_text = driver.page_source# print(page_text)tree = etree.HTML(page_text)protos = tree.xpath('//div[@class="hsxa-ui-component hsxa-meta-data-statistical-list hsxa-pos-rel"]/div[13]//li//a/text()')nums = tree.xpath('//div[@class="hsxa-ui-component hsxa-meta-data-statistical-list hsxa-pos-rel"]/div[13]//li//span/text()')with lock:  # 使用线程锁保护对res变量的读写操作for i in range(len(protos)):protos[i] = protos[i].strip(' ')protos[i] = protos[i].strip('\n')protos[i] = protos[i].strip(' ')nums[i] = nums[i].strip(' ')nums[i] = nums[i].strip('\n')nums[i] = nums[i].strip(' ')nums[i] = nums[i].replace(',', '')nums[i] = int(nums[i])if protos[i] in res:res[protos[i]] = res[protos[i]] + nums[i]else:res[protos[i]] = nums[i]print(protos)print(nums)if len(protos) == 0:failed.append(j)else:success.append(j)print("当前端口号：", j)print("失败列表：", failed)print("成功列表：", success)print(res)driver.quit()with ThreadPoolExecutor(30) as t:for j in range(10000,10500):# 把下载任务提交给线程池t.submit(onePort, j)

手动登录获取cookie代码

# 填写webdriver的保存目录
s = Service(r".\chromedriver.exe")
driver= webdriver.Chrome(service=s)
# 记得写完整的url 包括http和https
driver.get('https://fofa.info')
# 程序打开网页后20秒内 “手动登陆账户”
time.sleep(20)
with open('cookies.txt','w') as f:# 将cookies保存为json格式f.write(json.dumps(driver.get_cookies()))driver.close()

登录账号的单线程爬虫


from selenium import webdriver
import time
import jsonfrom selenium.webdriver.chrome.service import Serviceimport base64
import json
import urllib
from concurrent.futures import ThreadPoolExecutor
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from lxml import etree
from time import sleep
from selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.chrome.options import Options
options = Options()
# options.add_argument('--headless')
# options.add_argument('--disable-gpu')
options.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.46"')failed=[]
success=[]
res = {}s = Service(r".\chromedriver.exe")
driver = webdriver.Chrome(service=s, options=options)driver.get('https://fofa.info')
# 首先清除由于浏览器打开已有的cookies
driver.delete_all_cookies()with open('cookies.txt', 'r') as f:# 使用json读取cookies 注意读取的是文件 所以用load而不是loadscookies_list = json.load(f)# 将expiry类型变为intfor cookie in cookies_list:# 并不是所有cookie都含有expiry 所以要用dict的get方法来获取if isinstance(cookie.get('expiry'), float):cookie['expiry'] = int(cookie['expiry'])driver.add_cookie(cookie)# 重新发送请求(这步是非常必要的，要不然携带完cookie之后仍然在登录界面)
driver.get('https://fofa.info')
# sleep等待页面完全加载出来，这一步很关键
time.sleep(3)j=2
text = 'port="' + str(j) + '"'
text = base64.b64encode(text.encode("utf-8")).decode("utf-8")
text = urllib.parse.quote(text)
print(text)
sleep(10)
driver.get("https://fofa.info/result?qbase64=" + text)
sleep(6)
page_text = driver.page_sourceprint(page_text)tree = etree.HTML(page_text)protos = tree.xpath('//div[@class="hsxa-ui-component hsxa-meta-data-statistical-list hsxa-pos-rel"]/div[13]//li//a/text()')
nums = tree.xpath('//div[@class="hsxa-ui-component hsxa-meta-data-statistical-list hsxa-pos-rel"]/div[13]//li//span/text()')for i in range(len(protos)):protos[i] = protos[i].strip(' ')protos[i] = protos[i].strip('\n')protos[i] = protos[i].strip(' ')nums[i] = nums[i].strip(' ')nums[i] = nums[i].strip('\n')nums[i] = nums[i].strip(' ')nums[i] = nums[i].replace(',', '')nums[i] = int(nums[i])if protos[i] in res:res[protos[i]] = res[protos[i]] + nums[i]else:res[protos[i]] = nums[i]
print(protos)
print(nums)
if len(protos) == 0:failed.append(j)
else:success.append(j)
print("当前端口号：", j)
print("失败列表：", failed)
print("成功列表：", success)
print(res)driver.quit()

登录用户多线程

import threadingfrom selenium import webdriver
import time
import jsonfrom selenium.webdriver.chrome.service import Serviceimport base64
import json
import urllib
from concurrent.futures import ThreadPoolExecutor
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from lxml import etree
from time import sleep
from selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
# options.add_argument('--disable-gpu')
options.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.46"')failed=[]
success=[]
res = {}
lock = threading.Lock()def onePort(j):s = Service(r".\chromedriver.exe")driver = webdriver.Chrome(service=s, options=options)driver.get('https://fofa.info')# 首先清除由于浏览器打开已有的cookiesdriver.delete_all_cookies()with open('cookies.txt', 'r') as f:# 使用json读取cookies 注意读取的是文件 所以用load而不是loadscookies_list = json.load(f)# 将expiry类型变为intfor cookie in cookies_list:# 并不是所有cookie都含有expiry 所以要用dict的get方法来获取if isinstance(cookie.get('expiry'), float):cookie['expiry'] = int(cookie['expiry'])driver.add_cookie(cookie)# 重新发送请求(这步是非常必要的，要不然携带完cookie之后仍然在登录界面)driver.get('https://fofa.info')# sleep等待页面完全加载出来，这一步很关键time.sleep(3)text = 'port="' + str(j) + '"'text = base64.b64encode(text.encode("utf-8")).decode("utf-8")text = urllib.parse.quote(text)print(text)driver.get("https://fofa.info/result?qbase64=" + text)sleep(6)page_text = driver.page_sourcetree = etree.HTML(page_text)protos = tree.xpath('//div[@class="hsxa-ui-component hsxa-meta-data-statistical-list hsxa-pos-rel"]/div[13]//li//a/text()')nums = tree.xpath('//div[@class="hsxa-ui-component hsxa-meta-data-statistical-list hsxa-pos-rel"]/div[13]//li//span/text()')with lock:  # 使用线程锁保护对res变量的读写操作for i in range(len(protos)):protos[i] = protos[i].strip(' ')protos[i] = protos[i].strip('\n')protos[i] = protos[i].strip(' ')nums[i] = nums[i].strip(' ')nums[i] = nums[i].strip('\n')nums[i] = nums[i].strip(' ')nums[i] = nums[i].replace(',', '')nums[i] = int(nums[i])if protos[i] in res:res[protos[i]] = res[protos[i]] + nums[i]else:res[protos[i]] = nums[i]print(protos)print(nums)if len(protos) == 0:failed.append(j)else:success.append(j)print("当前端口号：", j)print("失败列表：", failed)print("成功列表：", success)print(res)driver.quit()with ThreadPoolExecutor(1) as t:for j in range(3679,4000):# 把下载任务提交给线程池t.submit(onePort, j)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/165320.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

SpringBoot常见异步编程，你会多少？

SpringBoot常见异步编程，你会多少？

微信公众号访问地址：SpringBoot常见异步编程，你会多少？ 近期热推文章： 1、springBoot对接kafka,批量、并发、异步获取消息,并动态、批量插入库表; 2、SpringBoot用线程池ThreadPoolTaskExecutor异步处理百万级数据; 3、基于Redis…
阅读更多...
【C++面向对象】2.构造函数、析构函数

【C++面向对象】2.构造函数、析构函数

文章目录 【 1. 构造函数 】1.1 带参构造函数--传入数据1.2 无参构造函数--不传入数据1.3 实例1.4 拷贝构造函数 【 2. 析构函数 】 【 1. 构造函数 】 类的构造函数是类的一种特殊的成员函数，它会 在每次创建类的新对象时执行。 构造函数的名称与类的名称是完全相同…
阅读更多...
2023年中国自动排气阀产业链、市场规模及存在问题分析]图[

2023年中国自动排气阀产业链、市场规模及存在问题分析]图[

自动排气阀是一种用于排除管道、容器或设备中累积的空气或气体的装置。在液体流动系统中，气体或空气可能会积聚在管道或容器中，影响流体流动、导致气锁和能效降低。自动排气阀的作用是在系统中的气体达到一定压力时，自动地释放气体&#xff0…
阅读更多...
非关系型数据库-Redis

非关系型数据库-Redis

一、缓存概念 缓存是为了调节速度不一致的两个或多个不同的物质的速度，在中间对速度较慢的一方起到加速作用，比如CPU的一级、二级缓存是保存了CPU最近经常访问的数据，内存是保存CPU经常访问硬盘的数据，而且硬盘也有大小不一的缓存…
阅读更多...
Java并发面试题：（五）volatile关键字

Java并发面试题：（五）volatile关键字

volatile 是什么 一旦一个共享变量（类的成员变量、类的静态成员变量）被volatile修饰之后，那么就具备了两层语义： 1）保证了不同线程对这个变量进行操作时的可见性，即一个线程修改了某个变量的值&#xff0c…
阅读更多...
python控制负数以16进制整型格式输出

python控制负数以16进制整型格式输出

实际使用时候，发现 python输出负数进程是 十进制和16进制一样的，就是16进制多了一个负号，和预期结果不同；比如我想要 -1输出 0xFFFFFFFF，可以参考如下方式； def TestPrintf(): ret -3print("test1 r…
阅读更多...
Linux | gdb的基本使用

Linux | gdb的基本使用

目录 前言 一、调试文件的生成 二、调试指令 1、选择调试文件 2、查看代码 3、运行代码 4、断点 5、打印与常显示 6、其他 总结 前言 前面我们学习了如何使用gcc/g来进行对代码进行编译，本章我们将使用gdb来对代码进行调试，学习本章的前提是有…
阅读更多...
【专题】测试人员为什么需要学会做业务总结？

【专题】测试人员为什么需要学会做业务总结？

背景 如何回答以下这个问题的知识支撑：系统的测试重点在哪，难点是什么，怎么攻克，为什么要这样设计？项目交接效率？ 同样是做业务测试，为什么有的人是A有的人只能C 二、框架 2.1 测试场景 重点…
阅读更多...
RK3568笔记四：基于TensorFlow花卉图像分类部署

RK3568笔记四：基于TensorFlow花卉图像分类部署

若该文为原创文章，转载请注明原文出处。 基于正点原子的ATK-DLRK3568部署测试。 花卉图像分类任务，使用使用 tf.keras.Sequential 模型，简单构建模型，然后转换成 RKNN 模型部署到ATK-DLRK3568板子上。 在 PC 使用 Windows 系统…
阅读更多...
centos 内核对应列表 内核升级 linux

centos 内核对应列表 内核升级 linux

近期服务器频繁出现问题，找运维同事排查，说是系统版本和内核版本和官方不一致，如下： Release 用的是7.8, kernal 用的是 5.9 我一查确实如此： 内核： Linux a1messrv1 5.9.8-1.el7.elrepo.x86_64 发行版 Cen…
阅读更多...
中文编程工具开发语言开发的实际案例：触摸屏点餐软件应用场景实例

中文编程工具开发语言开发的实际案例：触摸屏点餐软件应用场景实例

中文编程工具开发语言开发的实际案例：触摸屏点餐软件应用场景实例 软件特色： 1、功能实用，操作简单，不会电脑也会操作，软件免安装，已内置数据库。软件在关闭的时候，可以设置会员数据备份到U盘&…
阅读更多...
小谈设计模式（29）—访问者模式

小谈设计模式（29）—访问者模式

小谈设计模式（29）—访问者模式 专栏介绍专栏地址专栏介绍 访问者模式角色分析访问者被访问者 优缺点分析优点将数据结构与算法分离增加新的操作很容易增加新的数据结构很困难4 缺点增加新的数据结构比较困难增加新的操作会导致访问者类的数量增加34 总结…
阅读更多...
grafana将label值转化为metrics

grafana将label值转化为metrics

阅读更多...
RHCE---搭建博客网站

RHCE---搭建博客网站

一.实验要求： Server-NFS-DNS主机配置NFS服务器，将博客网站资源文件共享给Server-web主机，Server-NFS-DNS主机配置DNS Server-web主机配置web服务，通过域名www.openlab.com可以访问到自建的博客网站 二.准备工作 创建两台虚拟机…
阅读更多...
10G SFP+线缆选购指南

10G SFP+线缆选购指南

凭借低成本和易安装的优势，在10G速率短距离传输中SFP线缆比SFP光模块更受欢迎。本文将从类型、优势、应用和选购指导等方面为您介绍10G SFP线缆，旨在帮助您更快做出购买决策。 10G SFP线缆：定义和类型 SFP线缆是一种高速线缆，两…
阅读更多...
【LeetCode】 387. 字符串中的第一个唯一字符

【LeetCode】 387. 字符串中的第一个唯一字符

题目链接 文章目录 所有方法 复杂度 ( O ( n ) O(n) O(n)、 O ( ∣ Σ ∣ ) O(|\Sigma|) O(∣Σ∣)) Python3方法一：collections.Counter() 统计频次方法二：哈希映射 { key字符：value【首次出现的索引 or -1 出现多次】}方法三： c…
阅读更多...
Leetcode 1 两数之和 （暴力循环 HashMap* ） 含set、数组、map作哈希表的特性分析*

Leetcode 1 两数之和 （暴力循环 HashMap* ） 含set、数组、map作哈希表的特性分析*

Leetcode 1 两数之和 （暴力循环 哈希表） 解法1 ： 暴力循环解法2 : 哈希表HashMap法:red_circle:为什么想到用哈希表呢？:red_circle:为什么想到用map呢？:red_circle:归纳使用数组、set、map做哈希法： 题目链…
阅读更多...
【2023淘宝双十一活动什么时间开始？天猫双十一2023具体时间安排

【2023淘宝双十一活动什么时间开始？天猫双十一2023具体时间安排

2023双十一活动什么时间开始？让我们先来了解一下双十一的优惠活动以及玩法吧。请收藏这份2023年淘宝天猫双十一玩法优惠攻略，让你轻松购得心仪的商品！ 红包派送 活动期间，每天都可以领取超级红包！请注意&#xff0c…
阅读更多...
Redis LFU缓存淘汰算法

Redis LFU缓存淘汰算法

前言 Redis 在 4.0 版本之前的缓存淘汰算法，只支持 random 和 lru。random 太简单粗暴了，可能把热点数据给淘汰掉，一般不会使用。lru 比 random 好一点，会优先淘汰最久没被访问的数据，但是它也有一个缺点，…
阅读更多...
第十五章 I/O输入输出

第十五章 I/O输入输出

15,1输入输出流 流是一组有序的数据序列，根据操作的类型，可分为输入流和输出流两种。I/O(Input/Output,(输出)流提供了一条通道程序，可以使用这条通道把源中的字节序列送到目的地。虽然 I/O 流疆盘文件存取有关，但是程序的源和目的…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023