对于SLUB不熟的同学可以先跳过了,涉及的东西比较细致。
简单来说SLUB的结构是N(CPU数)个kmem_cache_cpu,和一个kmem_cache_node组成。其中kmem_cache_cpu的目的是为了从技术层面上提高CPU命中缓存,以及在同一个页面上不出现一个脏的内存(即不同时被多个CPU持有)。我把这个实现机制手工在WINDOWS下实现了一套,在开启多个kmem_cache_cpu的时候出现了个问题:
1.在释放对象的时候,判断是否是当前kmem_cache_cpu页面所在
2.如果是,则直接插入
3.如果不是,释放到邻居节点
如果是单个kmem_cache_cpu肯定没问题,但是在多个kmem_cache_cpu下,很可能会把其中一个kmem_cache_cpu已经持有的页面释放到邻居节点。举个例子:
假设一个页面地址是0-9,
kmem_cache_cpu1,持有A页面,空闲的情况为A0-A5
kmem_cache_cpu2,持有B页面,
当轮到kmem_cache_cpu2执行的时候,一个A页面的地址A6释放,程序检测到非B页面,则直接释放到邻居节点。那么这个时候A页面已经被切割成两段,并且在公共的邻居节点中。这个时候反而是增加了内存的脏度。后仔细看代码发现,源码中有这段:
struct kmem_cache_cpu {
void **freelist; /* Pointer to first free per cpu object */
struct page *page; /* The slab from which we are allocating */
int node; /* The node of the page (or -1 for debug) */
unsigned int offset; /* Freepointer offset (in word units) */
unsigned int objsize; /* Size of an object (from kmem_cache) */
#ifdef CONFIG_SLUB_STATS
unsigned stat[NR_SLUB_STAT_ITEMS];
#endif
};
注意到struct page *page;了吗?之前一直忽略它。并且真相在分配的函数里面,
如果freelist无效的话,会多查询一次page页的地址。
2011年1月15日增
细致看了下,觉得这个地方还是有BUG。
释放上就两个步骤
1)走本地PAGE
2)NODE节点
申请上比较复杂
1)走本地freelist
2)走本页page
3)走邻居节点
4)走系统
并且做了一些看似应该释放做的事:
1)如果page和freelist都为空,则走deactivate_slab();
deactivate_slab中有很多兼容的判断,要一一舍弃。阅读源码最痛苦的就是这点。
其中用到了个值page->inuse。这个值很奇怪,它指的是在kmem_cache_cpu当前+使用中的对象,如果释放了则
进行减一,所以你看不到他的++。
1)如果page->inuse大于0,并且freelist还有值,加入邻居。这个估计是兼容的代码,之前的判断freelist不为空
2)反之,加到邻居链表。
3)如果当前邻居链表满,则释放掉
2)如果freelist为空,page不为空,很可能其他的kmem_cache_cpu释放了对象,则走load_freelist:
疑问一:就是加入邻居链表和释放加入邻居链表的冲突。从条件上看,其实两个都是依赖page->freelist是否为空加入,但是在deactivate_slab加入邻居节点后,并没有对page->freelist进行处理,如果这时候有对象释放,是否会造成重复加入?
这个疑问是我弄错了,如果page->inuse==0,表示对象都已经释放,不会触发再次释放
疑问二:在多个kmem_cache_cpu情况下,释放的元素都是放到共同的邻居页面,很有可能被其他的kmem_cache_cpu直接取到,这样就造成2个不同的kmem_cache_cpu共享同个页面,这就违背了里面缓存命中的功能。
分享到:
相关推荐
Linux内核Slub内存分配机制分析,李英鹏,,Slab内存分配机制是Linux内核采用的传统内存分配机制。随着系统的发展,它暴露出队列管理复杂,管理结构内存消耗大,回收机制比较复
仿照linux的buddy+slub内存管理算法,可以在裸机中应用标准内存管理库函数,如malloc free等
Linux中Slub allocator工作原理介绍
Linux memory slob slab slub allocator. Three different memory allocators comprision.
buddy/slub是Linux内核中的内存管理算法。buddy防止内存的“外碎片”,即防止内存块越分越小,而不能满足大块内存分配的需求。slub防止内存的“内碎片”,即尽量按请求的大小分配内存块,防止内存块使用上的浪费。...
对slub流程进行分析,包括: slub分配对象流程 slub数据结构管理图 slab数据结构管理图
GDB插件使开发针对SLUB分配器Linux内核漏洞更加容易。 它显示slab缓存的内容,并允许在分配/释放操作上设置断点。 安装 无需安装,只需键入source slabdbg.py就足以让您入门。 用法 Usage: slab list - Display ...
SLUB 分配的内存:89.2992MB Vmalloc 分配的内存:21.8008MB 页分配器直接在正常/低区域分配的内存:584 MB Mem available in DMA buddy zone : 6 MB Mem available in Normal buddy zone : 97 MB Mem ...
9熟悉进程地址空间的区和页,分配和释放物理页,物理地址与逻辑地址、虚地址之间的映射,slub分配原理和方法,高端物理内存的映射。(4小时) 10介绍VFS原理,超级块,inode结构和方法,dentry结构和方法,file...
6_slub_clk_阿里巴巴_王元良 阿里巴巴内核团队-王元良 2018内核开发者大会
内容概要 For newbies 基础简介,环境搭建 SLUB 细节和特性 讨论内核 Heap Spray 两个实例 几种 spray 的实际应用
1.问题来源 公司线上环境出现MQ不能接受消息的异常,运维和开发人员临时切换另一台服务器的MQ后恢复。同时运维人员反馈在出现... task_struct是内核对进程的管理单位,通过slub(slab的升级版,如果你对slub不了解
SLUB数字馆藏SLUB Dresden的Digital Collections。
245个精美的SmartArt(PPT素材),可用于各种Office 或 Wps文档。
SLUB Fotothek景观,地理位置,城市(20-30), Webapp(索引,详细信息) 数据库 SlotMachine详细信息,响应式设计( , , ) 托管 , 首次翻译(Anja,Wito) 更多故事 用于站点和演示的项目文本和使用...
SLUB: Genslabs=13, HWalign=32, Order=0-3, MinObjects=0, CPUs=1, Nodes=1 NR_IRQS:85 irq: clearing subpending status 00000002 Console: colour dummy device 80x30 console [ttySAC0] enabled Calibrating ...
该词汇表是莱比锡大学图书馆 (UB) 与德累斯顿撒克逊州立大学图书馆 (SLUB) 之间共享项目的一部分,该项目得到了欧盟与 EFRE 的支持。 目标是基于使用 RDF 的链接数据技术为 UB 提供电子资源管理系统。 更多信息可以...