Python之美[从菜鸟到高手]--Python垃圾回收机制及gc模块详解

    Python中的垃圾回收是以引用计数为主,标记-清除和分代收集为辅。引用计数最大缺陷就是循环引用的问题,所以Python采用了辅助方法。本篇文章并不详细探讨Python的垃圾回收机制的内部实现,而是以gc模块为切入点学习Python的垃圾回收机制,如果想深入可以读读<<Python源码剖析>>。

   看如下代码:

import gc
import sys
gc.set_debug(gc.DEBUG_STATS|gc.DEBUG_LEAK)
a=[]
b=[]
a.append(b)
print 'a refcount:',sys.getrefcount(a)  # 2
print 'b refcount:',sys.getrefcount(b)  # 3del a
del b
print gc.collect()  # 0

输出结果:

a refcount: 2
b refcount: 3
gc: collecting generation 2...
gc: objects in each generation: 0 0 5131
gc: done, 0.0020s elapsed.
0
gc: collecting generation 2...
gc: objects in each generation: 0 0 5125
gc: done, 0.0010s elapsed.

    可以发现垃圾回收不起作用,所以垃圾收集只对循环引用起作用。

你可能好奇,为什么a的引用数是2呢?这时候你需要去看看sys.getrefcount(object)的函数说明了?


哦,该函数Docstring中说返回值通常比我们期望的要多1,因为传给该函数的参数临时变量又增加了一次引用。原来是这样,但让人很奇怪的是,为啥不调整一下呢???

gc.collect()返回此次垃圾回收的unreachable(不可达)对象个数。那什么是unreachable对象呢?请看下面一段代码:

a=[]
b=[]
a.append(b)
b.append(a)
del a
del b
print gc.collect()

输出结果:

gc: collecting generation 2...
gc: objects in each generation: 4 0 5127
gc: collectable <list 02648918>
gc: collectable <list 026488A0>
gc: done, 2 unreachable, 0 uncollectable, 0.0030s elapsed.
2
    此次a,b是循环引用,垃圾回收果然起作用了,回收的两个list的对象,就是a,b,不信可以使用:hex(id(a))输出a的地址。

上面收集的两个都是unreachable对象,那unreachable对象时什么呢?在说明unreachable对象就需要了解Python的标记-清除垃圾回收机制了,简单来说,过程如下:

** 寻找root object集合,root object多指全局引用和函数栈上的引用,如上面代码所示,a就是root object


** 从root object出发,通过其每一个引用到达的所有对象都标记为reachable(垃圾检测)


** 将所有非reachable的对象删除(垃圾回收)


这里还需要提到垃圾回收中的->>可收集对象链表,Python将所有可能产生循环引用的对象用链表连接起来,所谓的可产生循环引用的对象也就是list,dict,class等的容器类,int,string不是,每次实例化该种对象时都将加入这个链表,我们将该链表称为可收集对象链表(ps该链表是双向的)。

如,a=[],b=[],c={},将会产生:head <----> a  <----> b <----> c 双向链表。

  我们可以假想上述代码的垃圾回收过程:当调用gc.collect()时,将从root object开始垃圾回收,由于del a ,del b后,a,b都将成为unreachable对象,且循环引用将被拆除,此时a,b引用数都是0,a,b将被回收,所以collect将返回2。

  看下面一段代码,将加深对上述的理解:

a=[]
b=[]
a.append(b)
b.append(a)
del b
print gc.collect()
输出结果:

gc: collecting generation 2...
gc: objects in each generation: 354 4771 0
gc: done, 0.0010s elapsed.
0
gc: collecting generation 2...
gc: objects in each generation: 0 0 5119
gc: done, 0.0020s elapsed.
   此次并没有垃圾回收,虽然del b了,但从a出发,找到了b的引用,所以b还是reachable对象,所以并不会被收集。


  Python有了垃圾回收机制是否意味着不会造成内存泄漏呢,非也,请看如下代码:

class A:def __del__(self):pass
class B:def __del__(self):passa=A()
b=B()
print hex(id(a))
print hex(id(a.__dict__))
a.b=b
b.a=a
del a
del bprint gc.collect()
print gc.garbage
输出结果:

0x25cff30
0x25d0b70
gc: collecting generation 2...
gc: objects in each generation: 364 4771 0
gc: uncollectable <A instance at 025CFF30>
gc: uncollectable <B instance at 025CFF58>
gc: uncollectable <dict 025D0B70>
gc: uncollectable <dict 025D0810>
gc: done, 4 unreachable, 4 uncollectable, 0.0020s elapsed.
4
[<__main__.A instance at 0x025CFF30>, <__main__.B instance at 0x025CFF58>, {'b': <__main__.B instance at 0x025CFF58>}, {'a': <__main__.A instance at 0x025CFF30>}]
gc: collecting generation 2...
gc: objects in each generation: 2 0 5127
gc: done, 0.0010s elapsed.
   从输出中我们看到uncollectable字样,很明显这次垃圾回收搞不定了,造成了内存泄漏。

为什么会这样呢?因为del b时,会调用b的__del__方法,该方法中很可能使用了b.a,但如果在之前的del a时将a给回收掉,此时将造成异常。所以Python没办法,造成了uncollectable,也就产生了内存泄漏。所以__del__方法要慎用,如果用的话一定要保证没有循环引用。

   上面我们也打印出了a的地址,print hex(id(a)),也验证了回收的的确是a。

   上面出现了gc.garbage,gc.garbage返回是unreachable对象,且不能被回收的的对象。仔细看看输出结果,为什么貌似有重复???这个困扰了我很久,直到打开gc模块的文档才懂了。由于我们之前gc.set_debug(gc.DEBUG_STATS|gc.DEBUG_LEAK),而gc.DEBUG_LEAK=gc.set_debug(gc.DEBUG_STATS|gc.DEBUG_COLLECTABLE | gc.DEBUG_UNCOLLECTABLE | gc.DEBUG_INSTANCES | gc.DEBUG_OBJECTS|gc.DEBUG_SAVEALL),文档中指出如果设置了gc.DEBUG_SAVEALL,那么所有的unreachable对象都将加入gc.garbage返回的列表,而不止不能被回收的对象。

   我们看看Python的分代收集机制。

   Python中总共有三个“代”,所谓的三"代”就是三个链表,也就是我们上面所提到的可收集对象链表。当各个代中的对象数量达到一定数量时将触发Python的垃圾回收,各个代的数量如下。


  分代收集的思想就是活的越久的对象,就越不是垃圾,回收的频率就应该越低。所以当Python发现进过几次垃圾回收该对象都是reachable,就将该对象移到二代中,以此类推。那么Python中又是如何检查各个代是否达到阀值的呢?Python中每次会从三代开始检查,如果三代中的对象大于阀值将同时回收3,2,1代的对象。如果二代的满足,将回收2,1代中的对象,设计的是如此的美。


    

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/51501.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【PythonGUI小程序】相信我,这是最in的n种骰子梭哈小游戏新玩法,好玩到丧心病狂~(文中有惊喜)

导语 哈喽&#xff01;大家晚上好&#xff0c;我是木木子吖&#xff0c;很久没给大家更新游戏代码的类型啦~ 所有文章完整的素材源码都在&#x1f447;&#x1f447; 粉丝白嫖源码福利&#xff0c;请移步至CSDN社区或文末公众hao即可免费。 在长沙这个美食遍地的城市&#xff…

李峋同款心跳Python代码

李峋同款心跳Python代码【按头安利《点燃我温暖你》】 import random from math import sin,cos,pi,log from tkinter import * CANVAS_WIDTH 640 CANVAS_HEIGHT 640 CANVAS_CENTER_X CANVAS_WIDTH / 2 CANVAS_CENTER_Y CANVAS_HEIGHT / 2 IMAGE_ENLARGE 11 HEART_COLOR …

【Python案例】Python实现垃圾分类APP(附带微信小程序)

嗨嗨&#xff0c;大家好呀&#xff0c;我是小圆~ 今天给你们分享一个有趣的东西 如何利用现有的工具来实现一个垃圾分类的应用 主要做了三个核心内容&#xff1a; 对比现有垃圾分类服务&#xff0c;挑选一个合适并编码实现开发桌面版垃圾分类APP开发垃圾分类微信小程序 上…

【python】制作李峋同款爱心代码,也不是很难嘛~

前言 嗨喽~大家好呀&#xff0c;这里是魔王呐 ❤ ~! 最近&#xff0c;一部名叫《点燃我&#xff0c;温暖你》得电视剧冲进了大家得视野~ 其中李峋用代码做出的红色跳动的爱心&#xff0c;一下子跳到朱韵的心坎里&#xff0c;同样也跳到我们的心坎 今天&#xff0c;我们就用py…

太棒了 | 手把手教你用Python做一个 “举牌小人” 生成器!

教你如何使用Selenium库 本文禁止转载&#xff0c;如有违反&#xff0c;严肃处理&#xff01; 前几天写了一个婴儿级别的爬虫图文教程&#xff0c;大家很喜欢。戳我查看&#xff1a;3000字 “婴儿级” 爬虫图文教学 | 手把手教你用Python爬取 “实习网”&#xff01; 趁热打铁…

李峋的跳动爱心代码(python)

运行效果 代码&#xff1a; """ author:Athena Geng """ import random from math import sin, cos, pi, log from tkinter import *CANVAS_WIDTH 640 # 画布的宽 CANVAS_HEIGHT 480 # 画布的高 CANVAS_CENTER_X CANVAS_WIDTH / 2 # 画布中…

李峋爱心Python代码

李峋爱心Python代码&#xff1a; # codinggbk import random from math import sin, cos, pi, log from tkinter import * CANVAS_WIDTH 640 CANVAS_HEIGHT 480 CANVAS_CENTER_X CANVAS_WIDTH / 2 CANVAS_CENTER_Y CANVAS_HEIGHT / 2 IMAGE_ENLARGE 11 HEART_COLOR "…

李峋同款爱心python实现

爱心运行结果截图&#xff1a; import random from math import sin, cos, pi, log from tkinter import *CANVAS_WIDTH 840 # 画布的宽 CANVAS_HEIGHT 680 # 画布的高 CANVAS_CENTER_X CANVAS_WIDTH / 2 # 画布中心的X轴坐标 CANVAS_CENTER_Y CANVAS_HEIGHT / 2 # 画…

OpenAI CEO创建的Worldcoin正式推出「世界币」:AI 时代的数字通行证?

编辑&#xff1a;秦晋 据外媒Semafor独家报道&#xff0c;知情人士透露&#xff0c;由 OpenAI 首席执行官 Sam Altman 创建的Worldcoin 代币将于今日推出。 在硅谷引发争议的Worldcoin 代币试图解决两个棘手问题&#xff1a;在线身份认证与收入不平等问题。 据知情人士透露&…

华为鸿蒙HarmonyOS 4定档8月;ChatGPT之父的加密货币正式上线;微软必应聊天将推出重新生成答案功能|极客头条...

「极客头条」—— 技术人员的新闻圈&#xff01; CSDN 的读者朋友们早上好哇&#xff0c;「极客头条」来啦&#xff0c;快来看今天都有哪些值得我们技术人关注的重要新闻吧。 整理 | 梦依丹 出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09; 一分钟速览新闻点&#…

数据分析实战(六):英国电商用户行为分析

案例&#xff1a;英国电商用户行为数据分析 Part 1. 数据获取 1.1 数据集简介 https://archive.ics.uci.edu/ml/datasets/onlineretail# 该数据集为英国在线零售商在2010年12月1日至2011年12月9日间发生的所有网络交易订单信息。 1.2 数据集内容 数据集为xlsx格式&#xff0c…

亚马逊跟卖分析与经验分享

亚马逊设置跟卖机制&#xff0c;也是给了卖家一个机会&#xff0c;对于新手来说自己制作产品的listing花费大量的时间与精力大多数出单效果很不理想&#xff0c;这个时候把握得当跟卖就会取得很大的优势。 首先它能快速的获得流量 亚马逊的跟卖就是产品的listing共享&#xff…

Lazada和Shopee选品分析之马来西亚电商市场详解-海鲸跨境

马来西亚基础信息: 马来西亚是东南亚第三大经济体,国民富足;并且年轻人众多,对中国的产品非常喜爱。 国民经济:2019你那GDP 3543亿美元,增长4.7% 人均收入:10460美元,仅次于新加坡 年龄结构:30岁以下年轻人占人口53% 电商市场规模与潜力: 马来西亚电商用户数量…

为Lazada商家量身定做的精细化运营数据分析软件,Ushop BI

跨境电商数据可视化BI系统现在在市面上也是比较普遍&#xff0c;但是针对Lazada平台的目前只有一个Ushop BI系统&#xff0c;Ushop BI系统能够把Lazada平台数据可视化做的非常好&#xff0c;其功能覆盖面广&#xff0c;操作简单&#xff0c;是Lazada商家不可多得的好帮手&#…

亚马逊商品销售数据爬虫分析报告

家电产业和消费者升级悄然地展开。 市场的这种变化使消费者对家用电器的期望不再仅仅是一个简单的功能满足&#xff0c;而是更多的细节体验和技术创新。 通过洞察家用电器的消费特点&#xff0c;有利于确定市场的未来趋势&#xff0c;从而积极应对市场变化。 ▼ 我们围绕亚马逊…

Lazada数据大分析:帮你正确解析Lazada市场!

Lazada数据大分析&#xff1a;帮你正确解析Lazada市场&#xff01; 2021年是跨境电商飞速发展的一年&#xff0c;各行各业都选择了加入跨境电商这个行业&#xff0c;而如今在互联网的大趋势下国内电商行业的发展已经非常成熟&#xff0c;而跨境电商行业就后来居上&#xff0c;…

解决TimeWait过多的问题

原文链接&#xff1a;https://www.tiejiang.org/27040.html 服务端客户端通信连接示意图 1、 time_wait的作用&#xff1a; TIME_WAIT状态存在的理由&#xff1a; 1&#xff09;可靠地实现TCP全双工连接的终止 在进行关闭连接四次挥手协议时&#xff0c;最后的ACK是由主动关闭…

Confluence 调整会话超时(session timeout)

文章目录 前言一、概括二、实际场景应用1.更改空闲超时2.更改记住我 cookie 的生命周期3.在用户通过身份验证后的某个时间强制注销用户 总结 前言 在 Confluence 中有两个会话 Cookie&#xff1a; JSESSIONID: 由 Tomcat 使用和管理。 默认情况下&#xff0c;这被视为会话 co…

微信智能机器人助手,基于hook技术,自动聊天机器人

微信智能助手说明文档 资料获取方式&#xff0c;关注公总号RaoRao1994&#xff0c;查看往期精彩-所有文章&#xff0c;即可获取资源下载链接 更多资源获取&#xff0c;请关注公总号RaoRao1994 简介 微信智能助手是一款基于PC微信研发的微信助手类软件&#xff0c;能帮助大家…

如何监测高价值货物在物流运输过程中受到的振动和冲击?全面保障货物安全

引言 不同种类的货物对运输的要求不同&#xff0c;钢铁、煤炭、矿石等大宗物资通常对运输要求较低&#xff0c;而电子产品、IT 产品、家电等高价值敏感类货物则更强调运输的安全性&#xff0c;时效性&#xff0c;往往希望能尽可能安全和快速送达这类货物&#xff0c;使之尽快进…