对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”。
最近在我的项目中,就出现了内存持续增长的情况,goolge 了一下,发现
Tracing Python memory leaks 讲了一种诊断方式,并给出了实例。而我的案例与此文稍有不同,下面就结合我的案例,谈谈如何诊断内存泄露:
一、内存泄露的原因
对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因:
1、 所用到的用 C 语言开发的底层模块中出现了内存泄露。
2、 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收
3、 代码中有“引用循环”, python 垃圾处理机制无法进行回收
二、 内存泄露的诊断思路
无论是哪种方式的内存泄露,最终表现的形式都是某些 python 对象在不停的增长;因此,首先是要找到这些异常的对象。
三、 内存泄露的诊断步骤
用到的工具: gc 模块和
objgraph 模块
objgraph 是一个用于诊断内存问题的有用的工具
1、 在服务程序的循环逻辑中,选择出一个诊断点
2、 在诊断点,插入如下诊断语句
import gc
import objgraph
### 强制进行垃圾回收
gc.collect()
### 打印出对象数目最多的 50 个类型信息
objgraph.show_most_common_types(limit=50)
3、 检查统计信息,找到异常对象。
运行加入诊断语句的服务程序,并将打印到屏幕上的统计信息重定向到日志中。
运行一段时间后,就可以来分析日志,看看哪些对象在不停的增长。
以我的程序为例,我将日志记录到 log.txt 中,运行一段时间后,发现 tuple 和 list 类型的对象不停增长:
# grep "^list " log.txt
# grep "^tuple " log.txt
如果不停增长的对象,是一些非通用的类型(例如你自己实现的一个 class),那么问题就比较好定位,例如
Tracing Python memory leaks中提到的案例。
而对 tuple 和 list 这类通用类型,要想知道对象到底是什么,泄露发生在哪里,还得想点办法。我采用了排查的方式。由于程序的模块化还不错,可以每次禁用一个模块,然后重新跑程序,重新检查日志,看看 tuple 和 list 是否仍然不停增长。这样,很快就能将故障定位到具体的模块中。
最后终于找到了原因,属于上面总结的第二种原因:
我的程序是一个多线程程序,多个线程作为生产者,一个线程作为消费者,通过将一个 tuple 对象送入异步队列进行通信。由于消费者的处理速度跟不上生产者的速度,又没有进行同步, 导致异步队列中的对象越来越多。
四、参考文档
1.
http://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaks
2.
http://mg.pov.lt/blog/python-object-graphs.html
3.
http://mg.pov.lt/blog/hunting-python-memleaks
分享到:
相关推荐
主要介绍了Python内存泄漏和内存溢出的解决方案,帮助大家维护后台进程,感兴趣的朋友可以了解下
python程序,基于故障诊断的python程序,供故障诊断学者下载学习
填坑总结:python内存泄漏排查小技巧(csdn)————程序
不要以为 Python 有自动垃圾回收就不会内存泄漏,本着它有“垃圾回收”我有“垃圾代码”的精神,现在总结一下三种常见的内存泄漏场景。 无穷大导致内存泄漏 如果把内存泄漏定义成只申请不释放,那么借着 Python 中...
Python 打算删除大量涉及像C和C++语言那样的复杂内存管理。当对象离开范围,就会被自动垃圾收集器回收。然而,对于由 Python 开发的大型且长期运行的系统来说,内存管理是不容小觑的事情。 在这篇博客中,我将会分享...
Development tool to measure, monitor and analyze the memory behavior of Python objects in a running Python application.
PCA故障诊断的Python实现,介绍了两种pca基于python的故障诊断实现,一种是针对数据维数冗余的降维诊断,另一种是小数据维数的诊断。
内存管理,对于python这样的动态语言来说,是至关重要的一部分。它很大程度上决定了python的执行效率,对象的创建销毁,都涉及到内存的管理
opencv3和opencv4多线程内存泄漏问题:以cv::resize函数测试结果为例。 使用中可修复或者可避免内存泄漏:1)使用opencv2的版本;2)在代码中设置修复该问题.
主要介绍了python内存管理机制原理详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python3进程内存分析器-用于运行python进程的内存分析器.zip memory_analyzer 运行内存分析器不需要您停止进程或添加任何特殊的调试代码或标志。尽管内存分析器收集有关内存中对象的信息时您的过程(及其所有线程...
最近工作中慢慢开始用python协程相关的东西,所以用到了一些相关模块,如aiohttp, aiomysql, aioredis等,用的过程中也碰到的很多问题,这里整理了一次内存泄漏的问题 通常我们写python程序的时候也很少关注内存这个...
之前一直盲目的认为 Python 不会存在内存泄露, 但是眼看着上线的项目随着运行时间的增长 而越来越大的内存占用, 我意识到我写的程序在发生内存泄露, 之前 debug 过 logging 模块导致的内存泄露. 目前看来, 还有别的...
Python跑循环时内存泄露的有效解决方法。 内存泄漏是一种常见的问题,尤其在Python循环中运行长时间的程序时容易发生。以下是一些可能的解决方法: 使用生成器(Generator):生成器是一种特殊的迭代器,可以迭代...
基于Python的DoIP诊断上位机
Python文件:python来查看Linux系统内存使用情况.py Python文件:python来查看Linux系统内存使用情况.py
使用Visual Leak Detector,检测vs项目中可能存在的内存泄漏。自己在win7系统,vs 2012下检测可用,其它版本vs应该也没问题。
python实现本科毕业设计基于PyQt5的马铃薯诊断系统的设计与实现源代码python实现本科毕业设计基于PyQt5的马铃薯诊断系统的设计与实现源代码python实现本科毕业设计基于PyQt5的马铃薯诊断系统的设计与实现源代码...