python(基础语法,pandas,numpy,正则表达式,数据预处理)

python学习推荐网址:

白月黑羽

一、语法基础

目标:

• list、tuple、set、dict的基本用法
• 内置函数 len(), eval(),range(),sort(Ist, key=")
•列表推导式:
• data = [num for num in range(20) if num%2==1]
• data =[[random) for j in range(5)] for i in range(3)]
•生成器表达式
•惰性求值,需要转化成list或tuple使用
• 内置函数 enumerate(),filter(), map(), zip(,reversed()

1、运算符

☆运算符     逻辑表达式    简要说明
  and        x and y          布尔"与" - 若 x 为 False,x and y 返回 False,否则返回 y 的计算值
   or         x or y             布尔"或" - 若 x 为非 0,则返回 x 的值,否则返回 y 的计算值
  not         not x             布尔"非" - 若 x 为 True,返回 False;若 x 为 False,返回 True
 


常用数据类型对比图:

2、字符串String" "

(1)切片

(2)函数

#提取下面字符串中的50,0,51
str="xxxxxxxxxxxx5 [50,0,51]>,xxxxxxxxxx"
print(str.split('[')[1].split(']')[0].split(','))
#output:['50', '0', '51']

3、列表List [ ]

tips:

1、list1.append(str)    

#返回:直接在原列表上添加单个元素,不能写成list2=list1.append(str)

2、list1.extend(list2)  

#返回list1,将两个列表连起来组成(相加)一个新的列表,即list1+=list2

3、a1.pop()      

#删除指定的索引位置元素,默认删除最后一个元素,并将删除的元素显示

list常用方法:

4、元组tuple( )

tuple.count(x):统计x元素在元组中的索引

tuple.index(x):查找第一个x元素在元组中的索引

5、字典dict { key:value}

字典元素访问:

使用字典对象的items()方法返回字典中的元素,即所有“键:值”对,

字典对象的keys()方法返回所有“键”,

values()方法返回所有“值”。

6、集合set{ }

1、set是一个无序且不重复的元素集合。
2、集合成员可以做字典中的键。
集合支持用in和not in操作符检查成员
由len()内建函数得到集合的基数(大小)
用 for 循环迭代集合的成员。
增加一个元素:set. 𝑎𝑑𝑑( )
合并两个集合:set.update( )
set.pop( ) 随机删除一个元素,不需要给参数值
set.remove 删除指定值
set.discard( ) 删除指定值
但是因为集合本身是无序的,不可以为集合创建索引或执行切片(slice)操作。
3、set和dict一样,只是没有value,相当于dict的key集合,由于dict的key是不重复的,且key是不可变对象因此set也有如下特性:
1)不重复 ,常用它过滤list、tuple等重复值。 
2)元素为不可变对象。列表和字典是不能作为集合的元素的

x in set(true/flase)

x not in set (true/flase)

len(set)

7、函数

(1)自定义函数

def name (XXX):

      body

     return value

(2)lambda

T04.python关于Lambda的用法-CSDN博客

(3)遍历函数 map ()

遍历列表,即对序列中每个元素进行同样的操作,最终获取新的序列。

map(f, s)

将函数f 作用在序列S上。

(4)筛选函数 filter ()

对序列中的元素进行筛选,最终获取符合条件的元素

filter(f. s)

将条件函数f作用在序列S上,筛选出符合条件函数的元素

(5)累计函数 reduce ()

对序列内的所有元素进行累计操作。

reduce (f(x y),S)

将序列S中第一个元素和第二个元素用二元函数f(x,y)作用后的结果,与第三个元素继续作用,再将所得结果与第四个元素继续用x,y)作用,直到最后。

(6)函数 eval()


eval()的数将字符串当成有效的表达式来求值并返回计算结果,也就是实现列表、字典、元组与字符串之间的转化。

(7)range () arange(  )函数

用于生成序列,多与for 循环搭配使用。其使用格式如下range0函数中的3个参数与切什中的参数一致,差异是 range0参数间使用逗号range(start, stop [,step])隔开。start 表示计数起始值,为0时可省略;stop表示计数结束值,但不包括 stop本身;step 表示步长,默认为1,不可以为0。其生成一个左闭右开的整数范围。
对于range0函数,有以下几个注意点:
(1)它的参数表示的是左闭右开的区间;
(2)它接收的参数必须是整数;

(8)内置函数对列表的操作

8、程序结构

1、顺序语句  


2、分支语句 

3、循环语句 
 

4、try函数

try-except语句说明:
    1. as 子句是用于绑定错误对象的变量,可以省略
    2. except 子句可以有一个或多个,但至少要有一个.
       一般的需要写清楚需捕获异常的类型,见上面的常见错误异常链接,
      定制什么类型异常,能捕获相应的异常,但是没有指定的异常的话还是会报错的。
       不过有一个万能异常:Exception
    3. else子句最多只能有一个,也可以省略不写.
       else子句的语句将在此try语句没有发生异常时被执行
    4. finally子句最多只能有一个,也可以省略不写.
       finally子句的语句在任何情况下都会被执行

二、NumPy与Pandas

1、NumPy的基本使用方法

1、数组创建

(1)zeros():创建一个矩阵

内部元素均为0,第一个参数提供维度,第二个参数提供类型。

(2)ones():创建一个矩阵

内部元素均为1,第一个参数提供维度,第二个参数提供类型。

(3)empty():创建一个矩阵

内部是无意义的数值,第一个参数提供维度第二个参数提供型。

(4)eye():创建一个对角矩阵

第一个参数提供矩阵规模,对于第二个参数而言,如果为0则对
角线全为“1”,大于0则右上方第K条对角线全为“1”,小于0则左下方第K条对角线全为“1”,
第三个参数提供类型。

(5)full():

full((m,n),c)可以生成一个m×n的元素全为c的矩阵。

(6)random.random():

random.random((m,n))生成一个m×n的元素为0~1之间随机数的矩阵。

(7)random.randint():

numpy.random.randint(low, high=None, size=None, dtype='l')

函数的作用是,返回一个随机整型数,范围从低(包括)到高(不包括),即[low, high)。如果没有写参数high的值,则返回[0,low)的值。

(8)random.rand():

random.rand(d0,d1,…,dn)

函数根据给定维度生成[0,1)之间的数据,其中,dn表示每个维度的元素个数。

(9)random.randn():

random.randn(d0,d1,…,dn)

函数返回一个或一组样本,具有标准正态分布,其中,dn表示每个维度的元素个数。


2、 数组索引和切片


3、 数组运算

数组运算实质上是数组对应位置的元素进行运算,常见的是加、减、乘、除、开方等运算。

2、 pandas数据结构

1、Series

Series是一种类似于一维数组的对象,它由一维数组以及一组与之相关的数据标签(即索引)组成,仅由一组数据即可产生最简单的Series。

Series的字符串表现形式为:

索引在左边,值在右边。如果没有为数据指定索引,就会自动创建一个0到N-1(N为数据的长度)的整数型索引。可以通过Series的values和index属性获取其数组表现形式和索引对象。

2、DataFrame

DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引,它可以被看作由Series组成的字典(公用同一个索引)。跟其他类似的数据结构相比,DataFrame中面向行和面向列的操作基本是平衡的。其实,DataFrame中的数据是以一个或多个二维块存放的(而不是列表、字典或者别的一维数据结构)


3、索引对象

pandas的索引(Index)对象负责管理轴标签和轴名称等。构建Series或DataFrame时,所用到的任何数组或其他序列的标签都会被转换成一个Index对象。 Index对象是不可修改的,Series和DataFrame中的索引都是Index对象。

3、基本功能


1、 重新索引


2、 丢弃指定轴上的项
3、 索引、选取和过滤
4、 算术运算
5、 DataFrame和Series之间的运算
6 、函数应用和映射
7 、排序和排名
8、分组
9 、shape函数
10、 info()函数
11 、cut()函数

三、正则表达式

学习目标:

  • 基本规则
  • Match, compile , findallo, rearcho
  • 字符串的替换和修改
  • 格式化输出

正则表达式(Regular Expression),又称正规表示式、规则表达式、常规表示法等,在代 码中常简写为 regex、regexp 或 RE,是计算机科学的一个概念。在很多文本编辑器里,正则 表达式通常被用来检索、替换那些匹配某个模式的文本。   

正则表达式对于 Python 来说并不是独有的。
Python 中正则表达式的模块通常叫做“re”, 利用“import re”来引入,它是一种用来匹配字符串的强有力武器。

 作用
1. 判断匹配
> re.match() 从字符串起始位置开始匹配,如果不在起始配置匹配,re.match(r'正则表达式',‘字符串’) 函数返回None.
2. 切分字符串
> re.split(r'正则表达式’,‘字符串’)# 切分结果为列表
3. 分组
> 正则表达式还能提取字串。用()表示出要提取的字串,即分组(Group)
m=re.match('^(0[0-9]|1[0-9]|2[0-9]\:[0-5][0-9]:[0-5][0-9]$','19:05:30').groups()

1、基本规则

注:

1、\s 是一个特殊序列,它匹配任何空白字符,包括空格、制表符、换行符、回车符等。

2、0到1是?  大于0是*  大于1是+

助记:

https://blog.csdn.net/m0_74161592/article/details/140027909?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22140027909%22%2C%22source%22%3A%22m0_74161592%22%7Dicon-default.png?t=N7T8https://blog.csdn.net/m0_74161592/article/details/140027909?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22140027909%22%2C%22source%22%3A%22m0_74161592%22%7D

☆☆常见特殊表达式:

2、正则函数

tips:

1、match()函数判断是否匹配:

如果匹配成功,返回一个match对象,否则返回None。

(1)re.match()匹配

re.match(pattern, string)

1、切分字符串

(1)str.split(正则表达式)

(2)re.split(正则表达式,str)

2、分组Group

提取子串的强大功能:

如果正则表达式中定义了组,就可以在match对象上用group()方法提取出子串。注意到group(0)是原始字符串,group(1)、group(2)……表示第1、2……个子串。
 


 

(2)re.compile( )

re.compile(pattern, flags=0)

re.compile()函数编译正则表达式模式,返回一个对象。可以把常用的正则表达式编译成正则表
达式对象,方便后续调用及提高效率。

(3)re.findall( )☆

re.findall(pattern,string,flags=0)

调用re.findall()函数时可以非常简单地得到一个所有匹配模式的列表,而不是得到match的对象。

(4)re.srearch( )

re.search()函数对整个字符串进行搜索匹配,返回第一个匹配的字符串的match对象。

然而re.search()函数会在它查找到一个匹配项之后停止继续查找,因此在示例字符串中re.search()函数查找'dog'只找到其首次出现的位置。

3、字符串的替换和修改

sub (rule , replace , target [,count] )
subn(rule , replace , target [,count] )

第一个参数是正则规则,第二个参数是将要被替换的字符串,第三个参数是目标字符串,第四个参数是被替换的次数。

这两个函数的唯一区别是返回值。sub返回一个被替换的字符串,subn返回一个元组,第一个元素是被替换的字符串,第二个元素是一个数字,表明产生了多少次替换。

4、格式化输出

1、%符号进行格式化输出

引号内的%为格式化的开始,类似于占位符,其后s表示占位处要补充的是字符型,紧跟在引号之后的%为需要填充的内容。使用这种方式进行字符串格式化时,要求被格式化的内容和格式字符之间必须一一对应。用%进行格式化时:%d表示数值(取整)占位,%f表示浮点型占位。

2、使用format()函数进行格式化

除了%字符串格式化方法之外,推荐使用format()函数进行格式化,该方法非常灵活,不仅可以使用位置进行格式化,还支持使用关键参数进行格式化。Python中format()函数用于字符串的格式化。

3、f方法格式化

在普通字符串前添加f或F前缀,其效果类似于%方式或者format()。

四、数据处理与数据分析

1、数据处理

数据预处理的主要任务包括:1、数据清洗。 2、数据集成。  3 、数据变换。4、数据规约。

(1)数据清洗

数据清洗就是处理缺失数据以及清除无意义的数据,如:1、删除原始数据集中的无关数据,2、重复数据,3、平滑噪声数据,4、处理缺失值,5、异常值。

【1】重复值的处理

Python中的Pandas模块对重复数据去重步骤如下:

  1. 利用DataFrame中的duplicated( )函数返回一个布尔型的Series,显示是否有重复行,没有重复行显示为False,有重复行则从重复的第二条记录起,重复的均显示为True。
  2. 利用DataFrame中的drop_duplicates( )函数,返回一个移除了重复行的DataFrame。
  3. 使用df[df.列名.duplicated( )]显示重复值的行。
【2】缺失值处理
1)、处理缺失值的方法可分为三类:

1、删除记录,2、数据插补,3、不处理

其中常用的数据插补方法见下表:

2)、缺失值的处理包括两个步骤

1、缺失数据的识别,2、缺失值处理

(1)缺失数据的识别。
Pandas使用浮点值NaN表示浮点和非浮点数组里的缺失数据,并使用.isnull()和.notnull()函
数来判断缺失情况。

(2)缺失数据的处理。
对于缺失数据的处理有数据补齐、删除对应行、不处理等方法。
①dropna():对数据结构中有值为空的行进行删除。(删除数据中空值所对应的行)

②df.fillna():用其他数值填充NaN。

③df.fillna(method='pad'):用前一个数据值替代NaN。

④df.fillna(method='bfill') :用后一个数据值替代NaN。

⑤df.fillna(df.mean()):用平均数或者其他描述性统计量来代替NaN,使用均值来填补空数据。

⑥df.fillna(df.mean()['开始列名':'终止列名'] ) 起止连续的多列进行均值填充。

⑦df.fillna({'列名1':值1,'列名2':值2}):可以传入一个字典,对不同的列填充不同的值

⑧strip():清除字符型数据左右(首尾)指定的字符,默认为空格,中
间的不清除。

【3】异常值处理

异常值处理方法:

1、删除含有异常值的记录 。2、视为缺失值。3、平均值修正 。4、不处理。

(2)数据集成

1. 数据合并
2. 数据抽取
3. 数据拆分

(3)数据变换

1】、数据变换:主要是对数据进行规范化的操作,将数据转换成“适当的”格式,以适用于挖掘任务及算法的需要。

1. 数据标准化
2. 数据离散化
3. 数据泛化
4. 属性构造
 2】、常见基本数据变换操作:
5. 简单函数变换
6. 轴向旋转
7. 分组与聚合
8、哑变量处理
9、函数映射转换(行、列、元素)

(4)数据规约


2、数据标准化


3、数据分析

五、作业复盘

1、

#1、接收来自键盘的输入,并做好省份字典,并将省份的代码全部提取出来做成变量keys
i = input("pls your ID:")
prov = {11: "北京", 12: "天津", 13: "河北", 14: "山西",15: "内蒙古",21: "辽宁", 22: "吉林", 23: "黑龙江",31: "上海", 32: "江苏", 33: "浙江", 34: "安徽", 35: "福建", 36: "江西", 37: "山东", 41: "河南", 42: "湖北", 43: "湖南", 44: "广东", 45: "广西", 46: "海南",50: "重庆", 51: "四川", 52: "贵州", 53: "云南", 54: "西藏",61: "陕西", 62: "甘肃", 63: "青海", 64: "宁夏", 65: "新疆", 71: "台湾", 81: "香港", 82: "澳门",91: "国外"}
keys = tuple(prov.keys()) 
#2、提取省份代码字符,并看看提取的省份代码是否在全部的省份代码变量keys中
sf = int(i[:2])
sf in keys
#3、输出省份名称
prov[sf]

2、

from random import random
data =[[random() for j in range(5)] for i in range(3)]
data

这段代码生成了一个3行5列的二维列表,列表中的每个元素都是一个[0.0, 1.0)之间的随机浮点数。 

3、

a= list((x for x in range(10) if x % 3 == 0 for i in range(3)))
print(a)
[0, 0, 0, 3, 3, 3, 6, 6, 6, 9, 9, 9]

4、

print (1 and 9, 1 or 9, 0 and 9, 0 or 9)
print ( 1 and 9 or 0 , 0 or 1 and 9 )
print ( 0 and 9 or 8)

and 运算符要求两边的所有条件都为真(True)时,结果才为真;而 or 运算符只要任一边的条件为真,结果就为真。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/367508.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django 一对一关系

作用: 两个数据库表建立外键关系当外键表的数据被删除时,主表的数据也会一并删除。 1,添加表模型 Test/app8/views.pyfrom django.db import modelsclass User(models.Model):username models.CharField(max_length50, uniqueTrue)email …

【C语言】学生管理系统:完整模拟与实现

🌈个人主页:是店小二呀 🌈C语言笔记专栏:C语言笔记 🌈C笔记专栏: C笔记 🌈喜欢的诗句:无人扶我青云志 我自踏雪至山巅 🔥引言 本篇文章为修改了在校期间实训报告,使用C…

【网络架构】lvs集群

目录 一、集群与分布式 1.1 集群介绍 1.2 分布式系统 1.3 集群设计原则 二、LVS 2.1 lvs工作原理 2.2 lvs集群体系架构 ​编辑 2.3 lvs功能及组织架构 2.4 lvs集群类型中术语 三、LVS工作模式和命令 3.1 lvs集群的工作模式 3.1.1 lvs的nat模式 3.1.2 lvs的dr模式 …

为什么有些人思考得多,决策反而不好?避免过度拟合的终极指南:决策高手的秘密:灰度认知,黑白决策

在决策过程中,过度关注细节可能导致决策效果不佳,这被称为“过度拟合”。为了避免这种情况,我们需要进行“灰度认知,黑白决策”,即接受不确定性,关注整体趋势,设定明确目标,简化选择…

【JD-GUI】MacOS 中使用Java反编译工具JD-GUI

希望文章能给到你启发和灵感~ 如果觉得文章对你有帮助的话,点赞 关注 收藏 支持一下博主吧~ 阅读指南 开篇说明概念理解一、基础环境说明1.1 硬件环境1.2 软件环境 二、下载与安装2.1 选择对应版本2.2 解压运行排除异常:2.3 关于…

Geotools系列说明之LineString仿高德航路截取说明

需求分析 我们在做webgl的时候经常会遇到这样的需求,计算给定航路的拥堵情况,不同的拥堵显示不同的颜色,航路截取计算等等。基于这类问题统一都可以使用LineString进行处理 实现思路 如上图所示,航路是几个关键的点然后练成线&a…

05 docker 镜像

目录 1. 镜像 2. 联合文件系统 3. docker镜像加载原理 4. 镜像分层 镜像分层的优势 5. 容器层 1. 镜像 镜像是一种轻量级、可执行的独立软件包,它包含运行某个软件所需的所有内容,我们把应用程序和配置依赖打包好行程一个可交付的运行环境&#xf…

监控平台zabbix对接grafana

目录 1.安装grafana并启动 2.浏览器访问 3.导入zabbix数据,对接grafana 4.如何导入模板 5.使用zabbix监控nginx并发量连接数 5.1 修改nginx配置 5.2 编写监控数据脚本 5.3 设置键值 5.4 在zabbix web端完成自定义监控项 5.5 连接到grafana 以上一篇博客&l…

Python 生成Md文件带超链 和 PDF文件 带分页显示内容

software.md # -*- coding: utf-8 -*- import os f open("software.md", "w", encoding"utf-8") f.write(内部测试版2024 MD版\n) for root, dirs, files in os.walk(path): dax os.path.basename(root)if dax "":print("空白…

基于YOLOv9的PCB板缺陷检测

数据集 PCB缺陷检测,我们直接采用北京大学智能机器人开放实验室数据提供的数据集, 共六类缺陷 漏孔、鼠咬、开路、短路、杂散、杂铜 已经对数据进行了数据增强处理,同时按照YOLO格式配置好,数据内容如下 模型训练 ​ 采用YOLO…

StarRocks 3.3 重磅发布,Lakehouse 架构发展进入快车道!

StarRocks 3.3 的发布标志着 Lakehouse 架构在数据分析领域迈向了一个新的高度。作为下一代 Lakehouse 架构的代表,StarRocks 3.3 在稳定性、计算性能、缓存设计、物化视图、存储优化和 Lakehouse 生态系统等方面进行了全方位的优化和创新。本文将逐一介绍 StarRock…

如何在 SQL 中删除一条记录?

如何在 SQL 中删除一条记录? 在 SQL 中,您可以使用DELETE查询和WHERE子句删除表中的一条记录。在本文中,我将向您介绍如何使用DELETE查询和WHERE子句删除记录。我还将向您展示如何一次从表中删除多条记录 如何在 SQL 中使用 DELETE 这是使…

ctfshow sql注入 web234--web241

web234 $sql "update ctfshow_user set pass {$password} where username {$username};";这里被过滤了,所以我们用\转义使得变为普通字符 $sql "update ctfshow_user set pass \ where username {$username};";那么这里的话 pass\ where…

踩坑:Unity导出WebGL发布到手机上竖屏时强制显示横屏

具体的适配问题 公司的项目需要将游戏导出WebGL 发布到Web平台 本以为是个很简单的事情 谁知道却被个横竖屏适配搞的头晕 毕竟只有大学浅浅的学了下HTML这门语言 出来工作后基本上都是在跟C# Lua打交道 言归正传 看看具体问题吧 游戏如果从横屏进入 基本上不会有什么适配问题…

预处理详解

1.预定义符号 C语言设置了一些预定义符号,可以直接使用,预定义符号也是在预处理期间处理的。 __FILE__ //进行编译的源文件 __LINE__ //文件当前的行号 __DATE__ //文件被编译的日期 __TIME__ //文件被编译的时间 __STDC__ //如果编译器遵循ANSI C&…

在Clion使用CubeMX Stm32的步骤

Step1 准备软件,安装环境: 1. cubemx v6.5.0(可以兼容以前版本的project) https://www.st.com.cn/zh/development-tools/stm32cubemx.html STM32CubeMX 默认安装目录, 6.5版本可以兼容老版本 C:\Program Files\STMicroelectroni…

SpringMVC常见的注解

一、Spring MVC Spring Web MVC是基于ServletAPI构建的原始web 框架,一开始就包含在Spring 框架中,通常被称为“Spring MVC”。 1.MVC 是什么? MVC(Model、View、Controller)是软件工程中的一种软件架构设计模型。它把软件系统分…

Vision Transformer论文阅读笔记

目录 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale -- Vision Transformer摘要Introduction—简介RELATED WORK—相关工作METHOD—方法VISION TRANSFORMER (VIT)—视觉Transformer(ViT) 分析与评估PRE-TRAINING DATA REQUIREMENTS—预训练数据…

战略流程-麦肯锡企业数字化业务变革成熟度评估模型及案例深度解析

一、企业变革成熟度评估模型 企业变革成熟度诊断模型是一种评估工具,用于全面扫描和评估企业在变革转型过程中的能力水平。该模型通过一系列量化指标和定性分析,对企业在不同变革领域的成熟度进行评分,从而帮助企业识别在变革过程中的优势和…

llm学习-3(向量数据库的使用)

1:数据读取和加载 接着上面的常规操作 加载环境变量---》获取所有路径---》加载文档---》切分文档 代码如下: import os from dotenv import load_dotenv, find_dotenvload_dotenv(find_dotenv()) # 获取folder_path下所有文件路径,储存在…