干货满满的Python知识,学会这些你也能成为大牛

目录

1. 爬取网站数据

2. 数据清洗与处理

3. 数据可视化

4. 机器学习模型训练

5. 深度学习模型训练

6. 总结


1. 爬取网站数据

在我们的Python中呢,使用爬虫可以轻松地获取网站的数据。可以使用urllib、requests、BeautifulSoup等库进行数据爬取和处理。以下是一段爬取天气信息的示例代码,欧蕾欧蕾欧蕾蕾:

import requests
from bs4 import BeautifulSoupurl = 'https://www.weather.com/zh-CN/weather/hourbyhour/l/China+Beijing+Beijing?canonicalCityId=4a7d9ad7fc0cbd7f58d22b2f3d5c3cd9eb520a9b49f797290e3a8ae30e23f0e9'
res = requests.get(url)
soup = BeautifulSoup(res.text, 'html.parser')for hour in soup.select('.twc-hourly-forecast__table .twc-sticky-col.hourly-time > span'):print(hour.text)

这段代码通过requests库获取网站的HTML内容,然后使用BeautifulSoup库解析HTML并进行数据提取。通过CSS选择器定位到需要的信息,并进行输出滴昂。

2. 数据清洗与处理

在获取到数据后,需要去对俺们的数据进行清洗和处理。这包括数据去重、缺失值填充、数据类型转换等。以下是一段简单的数据清洗和处理示例代码:

import pandas as pd
import numpy as np# 读取CSV文件
df = pd.read_csv('data.csv')# 去除重复数据
df.drop_duplicates(inplace=True)# 填充缺失值
df.fillna(value={'age': np.mean(df['age'])})# 数据类型转换
df['age'] = df['age'].astype(int)

这段代码使用pandas库读取CSV文件,并对数据进行去重、缺失值填充、数据类型转换等操作。这些操作可以帮助我们对数据进行清洗和处理,使得数据更加滴规范化和易于分析。

3. 数据可视化

在对数据进行清洗和处理后,我们需要对数据进行可视化。可视化可以帮助我们更好滴理解数据,并发现数据中的规律。以下是一段简单的数据可视化示例代码:

import matplotlib.pyplot as plt# 读取CSV文件
df = pd.read_csv('data.csv')# 绘制散点图
plt.scatter(df['age'], df['score'])# 设置图表标题和坐标轴标签
plt.title('Age vs. Score')
plt.xlabel('Age')
plt.ylabel('Score')# 显示图表
plt.show()

这段代码使用matplotlib库绘制了一个散点图,通过设置标题、坐标轴标签等属性,使得图表更加清晰易懂。这个简单的示例可以帮助我们了解如何在Python中进行数据可视化。

4. 机器学习模型训练

在Python中,使用机器学习模型可以对数据进行预测和分类。可以使用scikit-learn等库进行机器学习模型的构建和训练。以下是一个简单的线性回归模型训练示例:

from sklearn.linear_model import LinearRegression# 读取CSV文件
df = pd.read_csv('data.csv')# 提取特征和标签
X = df[['age']]
y = df['score']# 构建线性回归模型
model = LinearRegression()# 训练模型
model.fit(X, y)# 输出模型系数和截距
print(model.coef_)
print(model.intercept_)

这段代码使用scikit-learn库构建了一个线性回归模型,使用读取CSV文件提取特征和标签。然后使用fit()方法训练模型,并输出模型系数和截距。这个简单的示例可以帮助我们了解如何在Python中进行机器学习模型的训练。

5. 深度学习模型训练

在Python中,使用深度学习模型可以对更加复杂的数据进行预测和分类。可以使用TensorFlow、Keras等库进行深度学习模型的构建和训练。以下是一个简单的MNIST手写数字识别模型训练示例:

import tensorflow as tf
from tensorflow import keras# 读取MNIST数据集
(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()# 将数据集归一化
x_train = x_train / 255.0
x_test = x_test / 255.0# 构建深度学习模型
model = keras.Sequential([keras.layers.Flatten(input_shape=(28, 28)),keras.layers.Dense(128, activation='relu'),keras.layers.Dropout(0.2),keras.layers.Dense(10, activation='softmax')
])# 编译模型
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])# 训练模型
model.fit(x_train, y_train, epochs=5)# 评估模型
test_loss, test_acc = model.evaluate(x_test, y_test)
print('Test accuracy:', test_acc)

这段代码使用TensorFlow和Keras库构建了一个简单的MNIST手写数字识别模型。通过读取MNIST数据集,使用Sequential模型构建深度学习模型并编译模型。然后使用fit()方法训练模型,并使用evaluate()方法评估模型。这个示例可以帮助我们了解如何在Python中进行深度学习模型的训练。

6. 总结

我们的宝贝Python在数据处理、机器学习、深度学习等方面都有非常强大的应用。在使用Python进行编程时,我们可以使用各种各样的库来完成我们的任务。本文介绍了爬取网站数据、数据清洗与处理、数据可视化、机器学习模型训练和深度学习模型训练等几个示例。

制作不易

求三连喔

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/86762.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

案例12 Spring MVC入门案例

网页输入http://localhost:8080/hello&#xff0c;浏览器展示“Hello Spring MVC”。 1. 创建项目 选择Maven快速构建web项目&#xff0c;项目名称为case12-springmvc01。 2.配置Maven依赖 <?xml version"1.0" encoding"UTF-8"?><project xm…

nacos原理

不要纠结于具体代码&#xff0c;随着版本变化源码多变&#xff0c;要学习的是基本原理和思想&#xff1b; Nacos注册中心实现原理分析 Nacos架构图 其中分为这么几个模块&#xff1a; Provider APP&#xff1a;服务提供者。 Consumer APP&#xff1a;服务消费者。 Name Serv…

k8s之StorageClass(NFS)

一、前言 1、环境 k8s v1.23.5 &#xff0c;服务器是centos7.9 192.168.164.20 k8s-master1 192.168.164.30 k8s-node1 192.168.164.40 k8s-node2 2、貌似storageClass在kubernetes v1.20就被砍了。 因为它比较慢&#xff0c;而且耗资源&#xff0c;但可以通过不同的实现镜…

Java并发机制的底层实现原理

一、前置知识 缓存一致性协议&#xff1a;每个处理器通过嗅探在总线上传播的数据来检查自己缓存的值是不是过期了&#xff0c;当处理器发现自己缓存行对应的内存地址被修改&#xff0c;就会将当前处理器的缓存行设置成无效状态&#xff0c;当处理器对这个数据进行修改操作的时…

selenium常见等待机制及其特点和使用方法

目录 1、强制等待 2、隐式等待 3、显示等待 1、强制等待 强制等待是在程序中直接调用Thread.sleep(timeout) ,来完成的&#xff0c;该用法的优点是使用起来方便&#xff0c;语法也比较简单&#xff0c;缺点就是需要强制等待固定的时间&#xff0c;可能会造成测试的时间过…

“探索计算机世界:进程的基本概念与功能“

文章目录 前言什么是进程如何描述进程进程的属性1. 进程标识符2. 内存指针3. 文件描述符表4. 进程的状态5. 优先级6. 上下文7. 记账信息 内存分配并行和并发 前言 作为程序员&#xff0c;理解计算机的组成以及计算机是怎样运行的是很重要的&#xff0c;因为只有了解计算机我们…

Jenkins 使用

Jenkins 使用 文章目录 Jenkins 使用一、jenkins 任务执行二、 Jenkins 连接gitee三、Jenkins 部署静态网站 一、jenkins 任务执行 jenkins 创建 job job的名字最好是有意义的 restart_web_backend restart_web_mysql[rootjenkins ~]# ls /var/lib/jenkins/ config.xml …

QT--崩溃原因分析

本文为学习记录&#xff0c;若有错误&#xff0c;请联系作者&#xff0c;谦虚受教。 文章目录 前言一、目的二、实现步骤1 add2line.exe2 分析文件3 crash文件 三、相关代码1 pro文件2.ccrashstack.h3.ccrashstack.cpp4.main.cpp 总结 前言 你从来来去自由&#xff0c;若你不想…

大模型时代,如何重塑AI人才的培养?知名高校专家为您解答

当下&#xff0c;随着人工智能技术的快速发展&#xff0c;大模型已经成为了人工智能发展的新方向&#xff0c;同时也对新时代AI人才的需求和培养带来了新的思考与挑战&#xff0c;需要结合当下社会对复合型AI人才的需求进行新思考&#xff0c;创新AI人才培养模式&#xff0c;以…

【ARM64 常见汇编指令学习 15 -- ARM 标志位的学习】

文章目录 ARM 标志位介绍Zero Condition flag(零标志位)零标志位判断实例 上篇文章&#xff1a;ARM64 常见汇编指令学习 14 – ARM 汇编 .balign,.balignw,.balign 伪指令学习 下篇文章&#xff1a;ARM64 常见汇编指令学习 16 – ARM64 SMC 指令 ARM 标志位介绍 在ARM架构中&am…

深度对话|如何设计合适的网络经济激励措施

近日&#xff0c;我们与Mysten Labs的首席经济学家Alonso de Gortari进行了对话&#xff0c;讨论了如何在网络运营商和参与者之间找到激励措施的平衡&#xff0c;以及Sui的经济如何不断发展。 是什么让您选择将自己的经济学背景应用于区块链和Web3领域&#xff1f; 起初&…

YOLO相关原理(文件结构、视频检测等)

超参数进化(hyperparameter evolution) 超参数进化是一种使用了genetic algorithm&#xff08;GA&#xff09;遗传算法进行超参数优化的一种方法。 YOLOv5的文件结构 images文件夹内的文件和labels中的文件存在一一对应关系 激活函数&#xff1a;非线性处理单元 activation f…

爬虫014_文件操作_打开关闭_读写_序列化_反序列化---python工作笔记033

报错,没有指定路径,没有指定路径无法创建文件 这样可以在当前目录下创建一个可写的文件 可以看到找到刚才生成的文件,看看内容

探讨uniapp的navigator 页面跳转问题

navigator 页面跳转。该组件类似HTML中的<a>组件&#xff0c;但只能跳转本地页面。目标页面必须在pages.json中注册。 "tabBar": {"color": "#7A7E83","selectedColor": "#3cc51f","borderStyle": "bl…

SpringMVC的架构有什么优势?——控制器(三)

前言 「作者主页」&#xff1a;雪碧有白泡泡 「个人网站」&#xff1a;雪碧的个人网站 「推荐专栏」&#xff1a; ★java一站式服务 ★ ★ React从入门到精通★ ★前端炫酷代码分享 ★ ★ 从0到英雄&#xff0c;vue成神之路★ ★ uniapp-从构建到提升★ ★ 从0到英雄&#xff…

走进知识图谱(二)【世界知识图谱篇】知识表示的经典模型与平移模型及基于复杂关系建模的知识表示学习

上篇文章提到&#xff0c;该系列文章将主要围绕世界知识图谱和语言知识图谱这两大类知识图谱进行展开&#xff0c;并且提到知识图谱的主要研究包括了知识表示学习、知识自动获取和知识的推理与应用三大部分。今天主要介绍世界知识图谱的知识表示学习&#xff0c;其中包括经典的…

uniapp 左右滑动切换页面并切换tab

实现效果如图 要实现底部内部的左右滑动切换带动上方tab栏的切换&#xff0c;并且下方内容要实现纵向滚动 &#xff0c;所以需要swiper&#xff0c;swiper-item,scroll-view组合使用 tab栏部分 <view class"tabs"><view class"tab_item" v-for&…

完成图像反差处理

bmp图像的前54字节为图像头&#xff0c;第19个字节开始4字节为图像宽&#xff0c;第23字节开始4字节为图像高&#xff0c;图像大小为&#xff1a;972*720*3542099574&#xff0c;为宽*高*像素点头&#xff0c;如下&#xff1a; 图像的反差处理

⌈算法进阶⌋图论::并查集——快速理解到熟练运用

目录 一、原理 1. 初始化Init 2. 查询 find 3. 合并 union 二、代码模板 三、练习 1、 990.等式方程的可满足性&#x1f7e2; 2、 1061. 按字典序排列最小的等效字符串&#x1f7e2; 3、721.账户合并 &#x1f7e1; 4、 839.相似字符串组&#x1f7e1; 5、 2812.找出最安全…

智能优化算法:猎豹优化算法-附代码

智能优化算法&#xff1a;猎豹优化算法 文章目录 智能优化算法&#xff1a;猎豹优化算法1.猎豹优化算法1.1 初始化1.2 搜索策略1.3坐等策略1.4攻击策略 2.实验结果3.参考文献4.Matlab5.python 摘要&#xff1a;CO算法是Mohammad AminAkbari等人于2022年受自然界猎豹狩猎启发而提…