python一个对象占用多少资源(python一个对象占用多少资源空间)

如题所述

第1个回答  2024-09-05

导读:本篇文章首席CTO笔记来给大家介绍有关python一个对象占用多少资源的相关内容,希望对大家有所帮助,一起来看看吧。

python内存管理机制

由于python中万物皆对象,所以python的存储问题是对象的存储问题。实际上,对于每个对象,python会分配一块内存空间去存储它。

那么python是如何进行内存分配,如何进行内存管理,又是如何释放内存的呢?

总结起来有一下几个方面:引用计数,垃圾回收,内存池机制

python内部使用引用计数,来保持追踪内存中的对象,Python内部记录了对象有多少个引用,即引用计数

1、对象被创建a='abc'

2、对象被引用b=a

3、对象被其他的对象引用li=[1,2,a]

4、对象被作为参数传递给函数:foo(x)

1、变量被删除dela或者delb

2、变量引用了其他对象b=c或者a=c

3、变量离开了所在的作用域(函数调用结束)比如上面的foo(x)函数结束时,x指向的对象引用减1。

4、在其他的引用对象中被删除(移除)li.remove(a)

5、窗口对象本身被销毁:delli,或者窗口对象本身离开了作用域。

即对象p中的属性引用d,而对象d中属性同时来引用p,从而造成仅仅删除p和d对象,也无法释放其内存空间,因为他们依然在被引用。深入解释就是,循环引用后,p和d被引用个数为2,删除p和d对象后,两者被引用个数变为1,并不是0,而python只有在检查到一个对象的被引用个数为0时,才会自动释放其内存,所以这里无法释放p和d的内存空间

垃圾回收机制:①引用计数,②标记清除,③分带回收

引用计数也是一种垃圾收集机制,而且也是一种最直观,最简单的垃圾收集技术.当python某个对象的引用计数降为0时,说明没有任何引用指向该对象,该对象就成为要被回收的垃圾了.(如果出现循环引用的话,引用计数机制就不再起作用了)

优点:简单实时性,缺点:维护引用计数消耗资源,且无法解决循环引用。

如果两个对象的引用计数都为1,但是仅仅存在他们之间的循环引用,那么这两个对象都是需要被回收的,也就是说它们的引用计数虽然表现为非0,但实际上有效的引用计数为0,.所以先将循环引用摘掉,就会得出这两个对象的有效计数.

标记清除算法也有明显的缺点:清除非活动的对象前它必须顺序扫描整个堆内存,哪怕只剩下小部分活动对象也要扫描所有对象。

为了提高效率,有很多对象,清理了很多次他依然存在,可以认为,这样的对象不需要经常回收,可以把它分到不同的集合,每个集合回收的时间间隔不同。简单的说这就是python的分代回收。

具体来说,python中的垃圾分为1,2,3代,在1代里的对象每次回收都会去清理,当清理后有引用的对象依然存在,此时他会进入2代集合,同理2代集合清理的时候存在的对象会进入3代集合。

每个集合的清理时间如何分配:会先清理1代垃圾,当清理10次一代垃圾后会清理一次2代垃圾,当清理10次2代垃圾后会清理3代垃圾。

在Python中,许多时候申请的内存都是小块的内存,这些小块内存在申请后,很快又会被释放,当创建大量消耗小内存的对象时,频繁调用new/malloc会导致大量的内存碎片,致使效率降低。

内存池的概念就是预先在内存中申请一定数量的,大小相等的内存块留作备用,当有新的内存需求时,就先从内存池中分配内存给这个需求,不够了之后再申请新的内存。这样做最显著的优势就是能够减少内存碎片,提升效率。

Python中有分为大内存和小内存:(256K为界限分大小内存)

大小小于256kb时,pymalloc会在内存池中申请内存空间,当大于256kb,则会直接执行new/malloc的行为来申请新的内存空间

在python中-5到256之间的数据,系统会默认给每个数字分配一个内存区域,其后有赋值时都会指向固定的已分配的内存区域

在运行py程序的时候,解释器会专门分配一块空白的内存,用来存放纯单词字符组成的字符串(数字,字母,下划线)

字符串赋值时,会先去查找要赋值的字符串是否已存在于内存区域,已存在,则指向已存在的内存,不存在,则会在大整数池中分配一块内存存放此字符串

请教各位牛人,python中有没有计算某个对象占用内存大小的函数

1

2

s='abc'

printsys.getsizeof(s)

如果你要监测所有的变量,可以用python的smiley模块监测所有的内存变量情况

求助protobuf在python中创建一个对象为何要占用那么多内存

例如我定义一个message

messageTestMes{

stringtest=1;

}

我只定义了一个string。然后我在python程序中用它,作为对比,也用了python自己的string

@profile

defaddstring():

sss=[]

foriinrange(1000):

info="dsdf_sdf"+str(i)

sss.append(info)

@profile

defaddtestmes():

sss=[]

foriinrange(1000):

test_mes=TestMes()

sss.append(test_mes)

执行命令

python-mmemory_profilertest.py

打印结果是

Filename:testing.py

Line#MemusageIncrementLineContents

================================================

34519.211MiB0.000MiB@profile

346defaddstring():

34719.211MiB0.000MiBsss=[]

34819.219MiB0.008MiBforiinrange(1000):

34919.219MiB0.000MiBinfo="$sdf"+str(i)

35019.219MiB0.000MiBsss.append(info)

35119.219MiB0.000MiBprintlen(sss)

35219.219MiB0.000MiBprintsss[999]

Filename:testing.py

Line#MemusageIncrementLineContents

================================================

35419.219MiB0.000MiB@profile

355defaddtestmes():

35619.219MiB0.000MiBsss=[]

35719.977MiB0.758MiBforiinrange(1000):

35819.977MiB0.000MiBtest_mes=TestMes()

35919.977MiB0.000MiBsss.append(test_mes)

我用pythonstring的只用了0.008M内存,而用protobufmessage的,用了0.758M内存。需要保持很多信息

使用sys.getsizeof查看python对象的内存占用

使用sys.getsizeof方法可以查看python对象的内存占用,单位:字节(byte)

实际上是调用了__sizeof__方法:

有些数据类型在Python3和Python2中占用的内存是不同的,例如range:

关于这个值是怎么算出来的,有待研究~

暂时已知:这个值包括该对象的数值、签名(包括数据类型、参数、调用方式等)等一系列数据所占总内存。可变对象所占内存可能极小,因为对象是指针,指向很大的数据。

Python对象

众所周知,Python是一门面向对象的语言,在Python无论是数值、字符串、函数亦或是类型、类,都是对象。

对象是在堆上分配的结构,我们定义的所有变量、函数等,都存储于堆内存,而变量名、函数名则是一个存储于栈中、指向堆中具体结构的引用。

要想深入学习Python,首先需要知道Python对象的定义。

我们通常说的Python都是指CPython,底层由C语言实现,源码地址:cpython[GitHub]

Python对象的定义位于Include/object.h,是一个名为PyObject的结构体:

Python中的所有对象都继承自PyObejct,PyObject包含一个用于垃圾回收的双向链表,一个引用计数变量ob_refcnt和一个类型对象指针ob_type

从PyObejct的注释中,我们可以看到这样一句:每个指向可变大小Python对象的指针也可以转换为PyVarObject*(可变大小的Python对象会在下文中解释)。PyVarObejct就是在PyObject的基础上多了一个ob_size字段,用于存储元素个数:

在PyObject结构中,还有一个类型对象指针ob_type,用于表示Python对象是什么类型,定义Python对象类型的是一个PyTypeObject接口体

实际定义是位于Include/cpython/object.h的_typeobject:

在这个类型对象中,不仅包含了对象的类型,还包含了如分配内存大小、对象标准操作等信息,主要分为:

以Python中的int类型为例,int类型对象的定义如下:

从PyObject的定义中我们知道,每个对象的ob_type都要指向一个具体的类型对象,比如一个数值型对象100,它的ob_type会指向int类型对象PyLong_Type。

PyTypeObject结构体第一行是一个PyObject_VAR_HEAD宏,查看宏定义可知PyTypeObject是一个变长对象

也就是说,归根结底类型对象也是一个对象,也有ob_type属性,那PyLong_Type的ob_type是什么呢?

回到PyLong_Type的定义,第一行PyVarObject_HEAD_INIT(PyType_Type,0),查看对应的宏定义

由以上关系可以知道,PyVarObject_HEAD_INIT(PyType_Type,0)={{_PyObject_EXTRA_INIT1,PyType_Type}0},将其代入PyObject_VAR_HEAD,得到一个变长对象:

这样看就很明确了,PyLong_Type的类型就是PyType_Typ,同理可知,Python类型对象的类型就是PyType_Type,而PyType_Type对象的类型是它本身

从上述内容中,我们知道了对象和对象类型的定义,那么根据定义,对象可以有以下两种分类

Python对象定义有PyObject和PyVarObject,因此,根据对象大小是否可变的区别,Python对象可以划分为可变对象(变长对象)和不可变对象(定长对象)

原本的对象a大小并没有改变,只是s引用的对象改变了。这里的对象a、对象b就是定长对象

可以看到,变量l仍然指向对象a,只是对象a的内容发生了改变,数据量变大了。这里的对象a就是变长对象

由于存在以上特性,所以使用这两种对象还会带来一种区别:

声明s2=s,修改s的值:s='newstring',s2的值不会一起改变,因为只是s指向了一个新的对象,s2指向的旧对象的值并没有发生改变

声明l2=l,修改l的值:l.append(6),此时l2的值会一起改变,因为l和l2指向的是同一个对象,而该对象的内容被l修改了

此外,对于字符串对象,Python还有一套内存复用机制,如果两个字符串变量值相同,那它们将共用同一个对象:

对于数值型对象,Python会默认创建0~28以内的整数对象,也就是0~256之间的数值对象是共用的:

按照Python数据类型,对象可分为以下几类:

Python创建对象有两种方式,泛型API和和类型相关的API

这类API通常以PyObject_xxx的形式命名,可以应用在任意Python对象上,如:

使用PyObjecg_New创建一个数值型对象:

这类API通常只能作用于一种类型的对象上,如:

使用PyLong_FromLong创建一个数值型对象:

在我们使用Python声明变量的时候,并不需要为变量指派类型,在给变量赋值的时候,可以赋值任意类型数据,如:

从Python对象的定义我们已经可以知晓造成这个特点的原因了,Python创建对象时,会分配内存进行初始化,然后Python内部通过PyObject*变量来维护这个对象,所以在Python内部各函数直接传递的都是一种泛型指针PyObject*,这个指针所指向的对象类型是不固定的,只能通过所指对象的ob_type属性动态进行判断,而Python正是通过ob_type实现了多态机制

Python在管理维护对象时,通过引用计数来判断内存中的对象是否需要被销毁,Python中所有事物都是对象,所有对象都有引用计数ob_refcnt。

当一个对象的引用计数减少到0之后,Python将会释放该对象所占用的内存和系统资源。

但这并不意味着最终一定会释放内存空间,因为频繁申请释放内存会大大降低Python的执行效率,因此Python中采用了内存对象池的技术,是的对象释放的空间会还给内存池,而不是直接释放,后续需要申请空间时,优先从内存对象池中获取。

pythontimer占用内存

python程序在运行过程之中会单独开辟出一个进程来执行,而很多小伙伴都发现程序在运行过程之中所占用的内存会越来越大,但是不知道是什么原因以及如何解决。那么下文会来讲解一下python程序内存占用过大的原因和解决方法,感兴趣的和有需要的话就往下看看吧。

?

一、原因

首先需要知道的一点就是,python是面向对象编程的语言,那么就表示在其程序之中一切皆为对象。而每一个对象在创建是都会在内存中开辟空间来占用位置,这样就会造成一开始的内存占用。

虽然说python中有自己的内存管理机制和垃圾处理方式,但是它对于一些占用内存过多的对象不会马上释放,只有当这个对象不处于引用状态时才会处理它。

二、解决方法

既然知道了python程序内存都是因为有对象才将其占用的,那么正确的解决方法就是将对象在调用完毕之后马上删除掉。该方法需要用到关键字del和gc模块,使用del关键字删除变量之后,调用gc模块来马上启动python垃圾处理机制就可以直接将其彻底从内存空间清除,代码示例如下所示:

结语:以上就是首席CTO笔记为大家整理的关于python一个对象占用多少资源的全部内容了,感谢您花时间阅读本站内容,希望对您有所帮助,更多关于python一个对象占用多少资源的相关内容别忘了在本站进行查找喔。

logo设计

创造品牌价值

¥500元起

APP开发

量身定制,源码交付

¥2000元起

商标注册

一个好品牌从商标开始

¥1480元起

公司注册

注册公司全程代办

¥0元起

    官方电话官方服务
      官方网站八戒财税知识产权八戒服务商企业需求数字市场
相似回答
大家正在搜