Python数学建模-2.5Pandas库介绍

2.5.1Pandas基本操作

Pandas是一个强大的Python数据分析库,它提供了快速、灵活且富有表现力的数据结构,设计初衷是为了处理关系型或标记型数据。Pandas的基本操作涵盖了数据的读取、处理、筛选、排序、分组、合并以及可视化等多个方面。

以下是一些Pandas的基本操作示例:

1.数据读取

Pandas可以方便地读取各种格式的数据文件,如CSV、Excel、SQL数据库等。

import pandas as pd  # 读取CSV文件  
df = pd.read_csv('data.csv')  # 读取Excel文件  
df = pd.read_excel('data.xlsx')

2.数据处理

Pandas提供了丰富的数据处理功能,如缺失值处理、数据类型转换等。

# 处理缺失值,用0填充  
df.fillna(0, inplace=True)  # 转换数据类型  
df['column_name'] = df['column_name'].astype(int)

3.数据筛选

使用布尔索引或条件表达式来筛选数据。

# 筛选某列值大于10的行  
filtered_df = df[df['column_name'] > 10]

4.数据排序

对数据的行或列进行排序。

# 按某列升序排序  
sorted_df = df.sort_values(by='column_name', ascending=True)

5.数据分组

使用groupby方法对数据进行分组,并进行聚合操作。

# 按某列分组并计算每组的平均值  
grouped_df = df.groupby('column_name').mean()

6.数据合并

使用merge或concat方法合并多个DataFrame。

# 合并两个DataFrame  
merged_df = pd.merge(df1, df2, on='key_column')

7.数据可视化

虽然Pandas本身不直接提供数据可视化功能,但它可以与Matplotlib、Seaborn等库结合使用,实现数据的可视化展示。

操作举例:

例1:生成二维数组:

生成服从标准正态分布的24*4随机数矩阵,并保存为DateFrame数据结构。


import pandas as pd
import numpy as np
dates=pd.date_range(start='20191101',end='20191124',freq='D')
a1=pd.DataFrame(np.random.randn(24,4), index=dates, columns=list('ABCD'))
a2=pd.DataFrame(np.random.rand(24,4))

详解:

在这段代码中,你使用了pandasnumpy库来创建两个DataFrame对象。我将逐步解释每一行代码的含义:

  1. import pandas as pd

    • 这行代码导入了pandas库,并给它一个简短的别名pdpandas是一个强大的数据分析库,提供了快速、灵活且富有表现力的数据结构,如Series和DataFrame。
  2. import numpy as np

    • 这行代码导入了numpy库,并给它一个简短的别名npnumpy是Python的一个基础数值计算库,提供了多维数组对象、各种派生对象(如掩码数组和矩阵)以及用于数组快速操作的各种API。
  3. dates=pd.date_range(start='20191101',end='20191124',freq='D')

    • 这行代码使用pandasdate_range函数创建了一个日期范围。这个范围从20191101(2019年11月1日)开始,到20191124(2019年11月24日)结束,并且freq='D'表示每天生成一个日期。生成的日期范围被赋值给变量dates
  4. a1=pd.DataFrame(np.random.randn(24,4), index=dates, columns=list('ABCD'))

    • 这行代码创建了一个名为a1的DataFrame。
    • np.random.randn(24,4)生成一个形状为24行4列的数组,数组中的元素是从标准正态分布(均值为0,标准差为1)中随机抽取的。
    • index=dates将前面生成的日期范围dates设置为DataFrame的索引。
    • columns=list('ABCD')将DataFrame的列名设置为'A', 'B', 'C', 'D'。
  5. a2=pd.DataFrame(np.random.rand(24,4))

    • 这行代码创建了一个名为a2的DataFrame。
    • np.random.rand(24,4)生成一个形状为24行4列的数组,数组中的元素是从[0, 1)区间内均匀分布的随机数中随机抽取的。
    • 默认情况下,DataFrame的索引是整数,从0开始递增,列名则是默认的整数列名(如0, 1, 2, 3)。

所以,你最终得到了两个DataFrame:a1有一个日期范围的索引和'A', 'B', 'C', 'D'的列名,其数据是从标准正态分布中随机抽取的;而a2有一个默认的整数索引和默认的整数列名,其数据是从[0, 1)区间内均匀分布的随机数中随机抽取的。

例2:读写文件:

数据写入文件示例

import pandas as pd
import numpy as np
dates=pd.date_range(start='20191101', end='20191124', freq='D')
a1=pd.DataFrame(np.random.randn(24,4), index=dates, columns=list('ABCD'))
a2=pd.DataFrame(np.random.randn(24,4))
a1.to_excel('data2_38_1.xlsx')
a2.to_csv('data2_38_2.csv')
f=pd.ExcelWriter('data2_38_3.xlsx')  #创建文件对象
a1.to_excel(f,"Sheet1")  #把a1写入Excel文件
a2.to_excel(f,"Sheet2")  #把a2写入另一个表单中
f.save()

结果输出:sheet1 

ABCD
2019-11-01 00:00:00-2.748299329-0.4751045920.4722281590.375505189
2019-11-02 00:00:000.3941350550.454457381.051139291-0.660948394
2019-11-03 00:00:00-0.1159173660.887737643-0.0652187750.628542098
2019-11-04 00:00:00-0.7470425971.3185878620.3513751962.006559399
2019-11-05 00:00:00-0.538853276-0.3239680351.6412018310.832038225
2019-11-06 00:00:00-0.2308198830.3612264762.981059284-0.282752734
2019-11-07 00:00:000.4460128470.1571348530.469619956-0.864433374
2019-11-08 00:00:001.483407425-0.8736135831.2758819131.393361881
2019-11-09 00:00:00-2.993810574-1.8943497150.2462253390.81601978
2019-11-10 00:00:001.001127464-1.283670894-0.277494697-1.108403165
2019-11-11 00:00:000.032262937-0.414623151.3634841821.084065374
2019-11-12 00:00:000.773718361-1.891746884-2.191906796-0.229845183
2019-11-13 00:00:000.7180594850.056195426-0.166176378-0.879896707
2019-11-14 00:00:00-0.77786206-0.5781329460.002456531-1.009984112
2019-11-15 00:00:00-0.140706394-1.6723038832.379240797-0.477193
2019-11-16 00:00:00-0.3304388321.349326828-1.611185835-1.117472688
2019-11-17 00:00:000.594385821-0.3495660632.5156284711.883487368
2019-11-18 00:00:000.4586359530.0914380190.142982058-1.865848673
2019-11-19 00:00:00-0.6277968771.151659164-0.4236115020.385119503
2019-11-20 00:00:00-0.4273550631.11599053-0.405061267-1.614393977
2019-11-21 00:00:00-0.7812244870.9091843160.5200030040.999774923
2019-11-22 00:00:00-2.7074354260.136051358-1.594984208-1.879257378
2019-11-23 00:00:000.0463963670.25656643-0.435255250.506502279
2019-11-24 00:00:000.2083889640.489574841-0.145479331-1.435911666

sheet2:

0123
00.577840647-1.1661758160.4265400660.289906941
1-0.7610932020.5565104332.1576216831.92666881
2-0.8855182781.109919278-0.05744118-1.230625124
3-1.417081241-1.4239432772.9439841980.062130554
40.8714317030.5147092991.834358959-0.006424981
5-0.3189332530.016404238-0.9168175272.545955738
60.172685038-0.240089429-0.812485835-0.929242697
7-0.6323869720.1312354041.628522398-0.47808205
8-0.05836918-0.881596476-0.949172898-0.569644943
93.066127163-0.1513347220.927841517-0.659900701
10-0.072356153-0.507385188-0.410943796-0.960699711
11-0.094601643-1.1657575350.7633953541.235162596
120.9256449691.1591801431.1620820422.050544193
130.282632986-0.690629242-0.135016956-0.87034863
14-0.450855017-0.4959521311.197093461-1.785680312
151.116692824-0.2689307160.968960205-0.036150945
161.60770553-0.629760951.0167956131.436878938
17-0.944857451-1.664227075-1.029120793-0.443128761
18-0.1097412930.7951667930.464880099-1.094235368
19-1.200246108-0.0201481991.1456587-0.760855735
20-0.5537910150.8930021560.043301140.060816106
21-0.959809977-1.296699517-0.500587363-0.778686252
22-0.3543743940.089239771-0.3057371852.222021455
231.7477813940.3180853031.2219008760.724086709

2.5.1数据的一些预处理

  1. 数据合并

    • 堆叠合并:将两个或多个表格在横向(x轴)或纵向(y轴)上进行拼接。这可以通过pandas.concat()函数实现。当表格的索引不完全一致时,可以选择内连接或外连接来决定如何处理索引。
    • 主键合并:基于两个或多个表格的共同列(通常是主键)来合并数据。这通常使用merge()函数完成。
    • 重叠合并:涉及更复杂的数据合并策略,可能需要基于数据的特定逻辑或条件来合并数据。
  2. 数据清洗

    • 处理缺失值:数据集中可能存在缺失值,可以使用fillna()函数将缺失值替换为特定的值(如0、平均值、中位数等)。
    • 删除重复行:如果数据集中存在重复的行,可以使用drop_duplicates()函数来删除它们。
    • 处理异常值:异常值是与数据集中其他值相差较大的值。可以使用clip()函数限制数据的范围,或者使用其他统计方法(如IQR方法)来识别和处理异常值。
  3. 数据标准化

    • 离差标准化:也称为最小-最大标准化,通过将数据值缩放到一个指定的范围(通常是0到1)来消除量纲和数量级的影响。
    • 标准差标准化:也称为Z-score标准化,通过将数据值转换为均值为0、标准差为1的分布来实现标准化。这有助于比较具有不同单位或量级的变量。
    • 小数定标标准化:通过移动数据值的小数点位置来标准化数据。这种方法在某些情况下可能很有用,但不如离差标准化和标准差标准化常用。
  4. 数据转换

    • 数据类型转换:使用astype()函数将数据转换为适当的类型(如整数、浮点数、日期等)。
    • 哑变量处理:对于分类数据,可能需要创建哑变量(或称为指示变量)来进行数值分析。这可以通过get_dummies()函数实现。
    • 离散化连续型数据:有时需要将连续型数据转换为离散型数据,这可以通过cut()函数或自定义逻辑来实现。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/278027.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【从零开始学习数据结构 | 第一篇】树

目录 前言: 树: 树结点之间的关系描述: 树的常见属性: 森林: ​编辑树的性质: 总结: 前言: 当谈论数据结构时,树(Tree)是一种极为重要且常…

测试人员Bug书写规范

📋 个人简介 作者简介:大家好,我是凝小飞,软件测试领域作者支持我:点赞👍收藏⭐️留言📝 在测试人员日常工作中,关于bug的编写和定义是一个比较经常的工作,如果bug编写描…

在Linux/Ubuntu/Debian中使用7z压缩和解压文件

要在 Ubuntu 上使用 7-Zip 创建 7z 存档文件,你可以使用“7z”命令行工具。 操作方法如下: 安装 p7zip: 如果你尚未在 Ubuntu 系统上安装 p7zip(7-Zip 的命令行版本),你可以使用以下命令安装它:…

研究生总结

Note:本博客更多是关于自己的感悟,没有翻阅文件详细查证,如果存在错过,也请提出指正。 1. 半监督回归 相比于半监督分类,半监督回归相对冷门。回归和分类之间有着难以逾越的天谴,预测精度。分类中的类别是可数的&…

JS原型和原型链的理解

原型链图,图中Parent是构造函数,p1是通过Parent实例化出来的一个对象 前置知识 js中对象和函数的关系,函数其实是对象的一种 函数、构造函数的区别,任何函数都可以作为构造函数,但是并不能将任意函数叫做构造函数&…

C语言快速入门之内存函数的使用和模拟实现

1.memcpy 它可以理解为memory copy的组合,memory有记忆的意思,这里指的是内存,copy是拷贝,这个函数是针对内存块进行拷贝的 函数原型 void* memcpy(void* destination,const void* source, size_t num); 从source位置开始&am…

【开源鸿蒙】模拟运行OpenHarmony轻量系统QEMU RISC-V版

文章目录 一、准备工作1.1 编译输出目录简介 二、QEMU安装2.1 安装依赖2.2 获取源码2.3 编译安装2.4 问题解决 三、用QEMU运行OpenHarmony轻量系统3.1 qemu-run脚本简介3.2 qemu-run脚本参数3.3 qemu-run运行效果3.4 退出QEMU交互模式 四、问题解决五、参考链接 开源鸿蒙坚果派…

合并两个有序链表

问题描述: 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例 1: 输入:l1 [1,2,4], l2 [1,3,4] 输出:[1,1,2,3,4,4]示例 2: 输入:l1 [], l2 […

AJAX概念和axios使用、URL、请求方法和数据提交、HTTP协议、接口、form-serialize插件

AJAX概念和axios使用 AJAX概念 AJAX就是使用XMLHttpRequest对象与服务器通信,它可以使用JSON、XML、HTML和text文本等格式发送和接收数据,AJAX最吸引人的就是它的异步特性,也就是说它可以在不重新刷新页面的情况下与服务器通信,…

vulhub中GitLab 任意文件读取漏洞复现(CVE-2016-9086)

GitLab是一款Ruby开发的Git项目管理平台。在8.9版本后添加的“导出、导入项目”功能,因为没有处理好压缩包中的软连接,已登录用户可以利用这个功能读取服务器上的任意文件。 环境运行后,访问http://your-ip:8080即可查看GitLab主页&#xff0…

【鸿蒙HarmonyOS开发笔记】状态管理入门

状态管理 为了方便开发者管理组件状态,ArkTS 提供了一系列状态相关的装饰器,例如State,Prop,Link,Provide和Consume等等。 State State用于装饰当前组件的状态变量,State装饰的变量发生变化时会驱动当前组…

uniapp移动端 IOS系统下无法与webview通信

不知道有没有人遇到过这个问题 我的页面嵌套了一个webview(文件位于项目的hybrif/html)目录下 使用evalJS与webview进行通信 代码如下 在安卓里运行是没问题的,但在苹果手机上一直无法通信 连接真机,打印evalJS是个方法&#xf…

Blocks —— 《Objective-C高级编程 iOS与OS X多线程和内存管理》

目录 Blocks概要什么是BlocksOC转C方法关于几种变量的特点 Blocks模式Block语法Block类型 变量截获局部变量值__block说明符截获的局部变量 Blocks的实现Block的实质 Blocks概要 什么是Blocks Blocks是C语言的扩充功能,即带有局部变量的匿名函数。 顾名思义&#x…

email + celery+django 异步发送邮件功能的实现

主要流程: django通过发件服务器到收件服务器,最后到收件人 邮件配置设置需要打开SMTP/IMAP并获的授权码,完成授权功能实现发送给收件人 邮件配置请参考另一博客https://blog.csdn.net/qq_44238024/article/details/136277821 项目结构树…

【Linux杂货铺】进程的基本概念

目录 🌈前言🌈 📁进程的概念 📂描述进程-PCB 📂 查看进程 📂 查看正在运行的程序 📂杀死进程 📂通过系统调用获取进程标识符 📂通过系统调用创建进程 &#x1f…

纯 CSS 实现文字换行环绕效果

实现效果 实现代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><title>Document</title><…

蓝桥杯并查集|路径压缩|合并优化|按秩合并|合根植物(C++)

并查集 并查集是大量的树&#xff08;单个节点也算是树&#xff09;经过合并生成一系列家族森林的过程。 可以合并可以查询的集合的一种算法 可以查询哪个元素属于哪个集合 每个集合也就是每棵树都是由根节点确定&#xff0c;也可以理解为每个家族的族长就是根节点。 元素集合…

Transformer的前世今生 day02(神经网络语言模型

神经网络语言模型 使用神经网络的方法&#xff0c;去完成语言模型的两个问题&#xff0c;下图为两层感知机的神经网络语言模型&#xff1a; 以下为预备概念 感知机 线性模型可以用下图来表示&#xff1a;输入经过线性层得到输出 线性层 / 全连接层 / 稠密层&#xff1a;假…

Etcd 介绍与使用(入门篇)

etcd 介绍 etcd 简介 etc &#xff08;基于 Go 语言实现&#xff09;在 Linux 系统中是配置文件目录名&#xff1b;etcd 就是配置服务&#xff1b; etcd 诞生于 CoreOS 公司&#xff0c;最初用于解决集群管理系统中 os 升级时的分布式并发控制、配置文件的存储与分发等问题。基…

phpstudy搭建简单渗透测试环境upload-labs、DVWA、sqli-labs靶场

好久没有做渗透相关的试验了&#xff0c;今天打开phpstudy发现很多问题&#xff0c;好多环境都用不了&#xff0c;那就卸载重装吧&#xff0c;顺便记录一下。 小皮下载地址&#xff1a; https://www.xp.cn/download.html 下载安装完成 一、下载搭建upload-labs环境 github…