23.5.16 使用pandas处理数据表格

目录

 1、快速查看dataframe数据信息

2、对dataframe数据进行操作 

1、删除指定行或列

2.删除含空值(缺失值)的行或列

3、dataframe数据切片、分组

4、dataframe数据保存为excel文件

一个dataframe数据保存到一个excel文件的一个表中:

多个dataframe数据保存到一个excel文件的不同表中:

5、独热编码:

6、归一化


 1、快速查看dataframe数据信息

data = pd.read_excel('temper.xlsx')  #读取excel文件数据到data
df = pd.DataFrame(data)   #将data中的数据转变成DataFrame数据结构
#注:在进行人工智能机器学习时必须转换成ndarray数据结构
print(data.shape)     #查看数据结构
print(data.head())    #查看前5行数据
print(data.tail(3))   #查看后3行数据
print(data.index)    #查看行索引名
print(data.columns)  #查看列名
df['day'] = df['avg']   #复制一列数据
del df['day']         #删除一列数据
df['day'] = da['day'].shift(-1)  #-1表示向将day列数据上移动1格,2表示向下移动2格

2、对dataframe数据进行操作 

1、删除指定行或列

DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)

 参数含义:

  • labels:要删除的行或列,用列表给出
  • axis:默认为0,指要删除的是行,删除列时需指定axis为1
  • index :直接指定要删除的行,删除多行可以使用列表作为参数
  • columns:直接指定要删除的列,删除多列可以使用列表作为参数
  • inplace: 默认为False,该删除操作不改变原数据;inplace = True时,改变原数据

1.2、总结

  1. 通过参数labels和axis 来指定
  2. 通过参数index或者columns来指定

原文链接:https://blog.csdn.net/m0_45210226/article/details/108942015

2.删除含空值(缺失值)的行或列

df.dropna()   # 删除包含缺失值的行或列
df.fillna(0)  # 将缺失值替换为指定的值
df.replace('old_value', 'new_value')  # 将指定值替换为新值 
df.duplicated()  # 检查是否有重复的数据
df.drop_duplicates()  # 删除重复的数据

3、dataframe数据切片、分组

#去除空数据之数据切片
new_df = df[0:56]  
new_df = df[0:-2]
#使用groupby分组
df_sex = df.groupby('sex') #将性别列中男女分类成两个表格
print(df_sex.head(1))     #打印每组的第一行数据
df_boy = df[df['sex']=='男']  #将sex列中的男生分开出来

4、dataframe数据保存为excel文件

一个dataframe数据保存到一个excel文件的一个表中:

df_boy.to_excel('D:/python/保存的路径/保存的数据.xlsx') 
df_boy.to_excel('D:/python/保存的路径/保存的数据.xlsx',index=False)   #index为是否保存索引
df_boy.to_excel('D:/python/保存的路径/保存的数据.xlsx',sheet_name='工作表名字')  #sheet_name为修改工作表sheet的名称

多个dataframe数据保存到一个excel文件的不同表中:

with pd.ExcelWriter('D:/python/保存的路径/保存的数据.xlsx') as baocundf_boy.to_excel(baocun,sheet_name='第1个表')df_girl.to_excel(baocun,sheet_name='第2个表')

5、独热编码:

将dataframe数据中的字符串数据独热编码为可以使用来进行机器学习的数值

features = pd.get_dummies(features) #直接使用pandas的get_dummies进行独热编码

6、归一化

机器学习时,dataframe数据中每列的数值大小范围不一样(有的数值很小、几十,有的数值很大、几百),为了使数值预测的更准确,所以要进行归一化(即将所有数值都转化成[0,1]或者[-1,1]直间的数)

参考:

https://blog.csdn.net/weixin_43921949/article/details/126822034?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168423147216800227488799%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=168423147216800227488799&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-2-126822034-null-null.142^v87^insert_down28v1,239^v2^insert_chatgpt&utm_term=%E5%BD%92%E4%B8%80%E5%8C%96&spm=1018.2226.3001.4187https://blog.csdn.net/weixin_43921949/article/details/126822034?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168423147216800227488799%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=168423147216800227488799&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-2-126822034-null-null.142%5Ev87%5Einsert_down28v1,239%5Ev2%5Einsert_chatgpt&utm_term=%E5%BD%92%E4%B8%80%E5%8C%96&spm=1018.2226.3001.4187

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/51376.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatgpt如何引入领域知识?mit团队利用gpt4做数据增强来提升小模型在特定领域的效果

一、概述 title:Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation 论文地址:Paper page - Dr. LLaMA: Improving Small Language Models in Domain-Specific QA via Generative Data Augmentation…

突发:深度学习之父Hinton为了警告AI的风险,不惜从谷歌离职!

‍数据智能产业创新服务媒体 ——聚焦数智 改变商业 今天,AI领域发生了一件标志性事件。那就是Hinton 为了能更自由的表达对AI失控的担忧,不惜从工作了10年的谷歌离职,可见他真的深切的感受到了危机。 不久前,纽约时报的一篇采访…

炸裂!AI 都快把《西部世界》搞出来了!

公众号关注 “GitHubDaily” 设为 “星标”,每天带你逛 GitHub! 自 ChatGPT 发布以来,在 AI 界可谓是掀起了一场前所未有的人工智能探索浪潮。 人们争先恐后的进入这个领域,试图挖掘出 AI 在当前科技水平能发挥的最大潜力。 前两天…

03.提问是成长的第一步-《ChatGPT提问艺术与技术》

第一章 学习提问的艺术 1.2 提问是成长的第一步 在⼈们的思想⾥,最想要的东西往往是可望⽽不可即的。追求的东西越是美好,越是吸引⼈,追求的⼈就会越多。这看似⽆理,却是⽣活的事实。对于人类社会来说,个体的成长是智人…

AI 智能会有自主意识吗?会不会伤害人?

随着科技的高速发展,人工智能已逐渐融入我们的日常生活。从智能家居设备到自动驾驶汽车,人工智能的应用领域越来越广泛。然而,在这个趋势背后,我们面临着一个极具争议的问题:人工智能是否会觉醒自我意识?我…

chatgpt赋能python:Python程序的暂停使用介绍

Python程序的暂停使用介绍 Python是一种高级编程语言,适用于各种应用程序,包括Web开发、数据分析、机器学习等领域。它是一个非常强大的工具,但很多人可能不知道Python是否可以被暂停。在这篇文章中,我们将探讨Python是否可以暂停…

免费Midjourney来袭

发现一个镜像站,和之前发的镜像站不一样,这个集成了midjourney和chatgpt,且免翻,相信给很多很多用户都提供了便利吧! 先把网站贴出来,有兴趣的伙伴可以玩一玩 关于以图生图,现在网站支持本地上…

最好用的图片生成AI——Tiamat初体验

昨天看到Tiamat官方给我发了内测成功的邀请函​,内容如下: 亲爱的AI魔法师: 您好!感谢您对Tiamat一如既往的支持,恭喜您获得Tiamat网页版的体验邀请码!无论是工作还是创意,期待您在Tiamat worl…

量化投资学习-14:《智猪博弈理论》看散户与庄家共赢策略之耐心等待

散户的尴尬: 在上篇文章《量化投资学习-13:一张图残酷的展现了庄家、量化交易者、散户的盈利空间的对比》中可以看到,散户的利润空间非常狭小,稍不留神,就会导致亏损。 散户的策略: 为了应对这个尴尬的境…

成功打破 GPT-4 上限,新版 Claude 横空出世!

公众号关注 “GitHubDaily” 设为 “星标”,每天带你逛 GitHub! 前 OpenAI 团队成员在离职后,创办了 Anthropic 公司。今年 3 月份的时候,该公司推出一款名为 Claude 的应用,试图与 ChatGPT 一争高下。 一个多月过去了…

大模型调研之 OPT-175B是如何炼成的(过程,细节,参考链接等)

杂谈 现在是2023年年中,WAIC世界人工智能大会刚结束不久。 要说WAIC,有种“盛名之下其实难副”之感。诺大个会场,八成都在大谈特谈大模型与gpt,不过部署一个据说要大洋上亿。尽管貌似中国还没有相关货真价实的学术成果&#xff0…

这半年说了近乎一辈子的话:关于任正非的小数据分析

这个70余岁的老人,在过去的几十年中一直是低调、不怎么轻易公开发言的存在,但在这半年间的颠覆出乎想象 作者 | 姚赟 来源 | 盒饭财经 难以想象,数十年来一直以低调著称的任正非这半年来至少公开说了25w字。 过去30年间,任正非公…

时隔 5 年,华为再发旧文《华为到该炸掉研发金字塔的时候了》意欲何为?

整理 | 郑丽媛 出品 | CSDN(ID:CSDNnews) 提起华为,相信许多人心中浮现的都是“5G”、“HarmonyOS”、“芯片”等技术关键词,其行业领先的研发能力众所周知。此前华为更是以 4510 件授权专利位列 2019 年中国发明专利授…

任正非最新谈话:直到2006年,我才真正抛弃自杀的念头

来源:世界科技创新论坛 摘要:日前,一份任正非会见索尼CEO吉田宪一郎会谈纪要流出,这份纪要以吉田宪一郎发问任正非的视角,揭开了不少华为鲜为人知的故事,其中涉及华为的管理、创业之初的故事,还…

关于idea中bitos插件注册无法加载注册的问题

我这个注册界面一直是这个样子,根本没反应,无法注册,下面那个红色的也不知道是什么,往下拉也拉不了,左上角那个图标都加载不出来,我用的是2022.3.1版本的,起初我以为是版本的问题,后…

chatgpt赋能python:Python电脑上图标是什么样子?

Python电脑上图标是什么样子? 在计算机系统中,图标是一种可视化的元素,用于代表具体的应用程序或文件。Python是一种开源的高级编程语言,越来越多的人开始使用它进行软件开发和数据科学。在电脑上,Python的图标是怎样…

向ChatGPT提问的6大层次,从基础到进阶,看这一篇就够了!

目录 引语: 一、基本提问 二、提问加要求 三、角色扮演 四、参照资料提问 五、深入追问 六、结合应用场景超出领域的提问 结语: 引语: 大家好我们是权知星球,开启你独特的知识星际之旅 如果你到目前为止还没有用过ChatG…

ChatGPT真能取代程序员吗,看看它怎么解释SQL注入漏洞的问题

本文首发自「慕课网」,想了解更多IT干货内容,程序员圈内热闻,欢迎关注"慕课网"! 作者:Beerus|慕课网讲师 背景 本周在《Web安全渗透测试》课程的QQ群中,有同学提问了一个关于网上一个关于SQL注入…

如何构建基于岗位的员工职业发展体系

职业发展通道设置不均衡,员工晋升不畅,人人都想往管理通道挤,“千军万马独木桥”,专业技术骨干流失严重; 缺乏明确的职位任职资格,员工职业发展“论资排辈”,以学历、司龄等资历因素作为晋升评…

企业如何实现精细化人员管理?五大业务场景值得关注

近年来,随着大数据、人工智能和云计算等信息技术不断升级与渗透,处在数字化变革的劳动力密集型企业希望利用更加智能化的劳动力管理软件,帮助企业实现规范化的管理。 面对企业劳动力管理理念的变化,以及数字化转型的发展渗透&…