Linux内存管理之CMA简介

1.概述

在linux驱动开发过程中经常需要使用到连续大块物理内存，尤其是DMA设备。而实际在系统经过长时间的允许之后，物理内存会出现比较严重的碎片化现象，虽然通过内存规整，内存回收等手动可以清理出一段连续的物理内存，但是并不能保证一定能够申请较大连续物理块。最初连续申请较大块物理内存，一般都是只在DMA场景中使用，因此内核专门把物理内存划分出ZONE_DMA专门用于DMA内存申请(当然划分DMA_ZONE还有其他原因，在较早DMA中由于DMA寻址地址限制 只能将一定范围的物理内存），用于解决DMA申请连续物理内存问题。但是随着各种设备驱动出现，对连续物理内存需求也越来越大。因此将所有连续物理内存都做预留出来，很显然如果划分预留出较多内存专门给连续物理内存使用，对内存使用存在较为严重浪费情况，也支持长期发展需求。

为了解决上述问题，三星公司的Michal Nazarewicz 与2010年提出CMA（contiguous memory allocator)The Contiguous Memory Allocator [LWN.net],用于解决连续物理内存申请问题。

​

​reserved-memory​

​ 架构包含了预留内存的功能。预留的内存又与内核中的DMA和CMA框架密切相关。

为了从系统地址空间预留内存，设备树须配置预留内存的节点。每个节点定义一个特定的内存空间，并且可以根据内核文档中关于可用于预留内存节点的说明配置不同的参数。然后就可以通过memory-region参数将预留的内存空间分配给特定的设备驱动程序使用。

​

​CMA（Contiguous Memory Allocator）​

​连续内存分配器用于分配大块的连续内存。内存管理系统会根据设备使用情况动态管理CMA区域的页面。

2.配置CMA区域

dts中关于CMA区域的描述如下：

resmem: reserved-memory {
    #address-cells = <2>;
    #size-cells = <2>;
    ranges;
    
    linux,cma {
      compatible = "shared-dma-pool";
      reusable;
      size = <0 0x3c000000>;
      alloc-ranges = <0 0x40000000 0 0xC0000000>;
      linux,cma-default;
    };

}      

在内核启动的dtb解析阶段，需要对这块CMA区域进行范围合法性和reusable属性检查【必须是reusable属性，不能是no-map，no-map用于专有驱动的io remap】。

这里的CMA区域，最终由​

​kernel/dma/contiguous.c​

​​注册。其中的​

​rmem_cma_setup​

​​函数会读取dts参数并创建CMA区域，从device tree中可以获取该memory range的起始地址和大小，调用​

​cma_init_reserved_mem​

​函数即可以注册一个CMA区域【告知系统起始地址和大小】。

3.初始化CMA区域

CMA区域只是一块特殊的内存区域，最终还是需要由伙伴系统管理。

初始化顺序:

1. memblock

   掌握全局内存分布和内存类型，确定哪些memory block的普通内存【​

   ​memblock_add​

   ​】，哪些是保留内存【​

   ​memblock_reserve​

   ​】，这里的cma就属于保留内存。

   然后初始化保留内存【​

   ​__reserved_mem_init_node​

   ​】，调用​

   ​rmem_cma_setup​

   ​设置CMA区域。

2. cma

   ​

   ​cma_declare_contiguous_nid​

   ​从memblock中划分出满足要求的物理内存用作CMA内存。

setup_arch
  ->bootmem_init
    ->dma_contiguous_reserve
      ->dma_contiguous_reserve_area
        ->cma_declare_contiguous
          ->cma_declare_contiguous_nid      

1. 加入伙伴系统

   现在CMA这块区域已经划分完成，最后还需要将其引入伙伴系统进行内存管理。

   最终通过​

   ​cma_init_reserved_areas->init_cma_reserved_pageblock​

   ​将其加入到buddy系统中

cma_init_reserved_areas
  ->cma_activate_area
    ->init_cma_reserved_pageblock //将cma内存page中的PG_Reserved清除
      ->set_pageblock_migratetype(page, MIGRATE_CMA)//page设置MIGRATE_CMA标志
      ->__free_pages //加进伙伴系统      

MIGRATE_CMA这种迁移类型具有一个重要性质：只有可移动的页面可以从MIGRATE_CMA的pageblock中分配。

当从伙伴系统请求内存的时候，我们需要提供了一个gfp_mask的参数。migrate type有很多中，其中有一个是MIGRATE_MOVABLE类型，被标记为MIGRATE_MOVABLE的page说明该页面上的数据是可以迁移的。也就是说，如果需要，我们可以分配一个新的page，copy数据到这个new page上去，然后释放这个page。而完成这样的操作对系统没有任何的影响。

4.CMA内存申请

CMA内存大都是通过​

​dma_alloc_contiguous​

​​进行申请的，其核心是​

​cma_alloc​

​。

过程是：

1. 将范围内的页面标记为隔离状态，防止伙伴系统使用
2. 扫盲PFN范围可以迁移的页面
3. 将老page内容传给新page，完成页面迁移

cma_alloc
  ->alloc_contig_range
    ->start_isolate_page_range //将范围内的页面标记为隔离状态，防止伙伴系统使用
    ->__alloc_contig_migrate_range //扫盲PFN范围可以迁移的页面，进行迁移
      ->migrate_pages  //完成页面迁移，将老page内容传给新page
        ->unmap_and_move      

5.CMA debug

debug之前需要开启CONFIG_CMA_DEBUG=y CONFIG_CMA_DEBUGFS=y内核配置开关。

开启之后会在/sys/kernel/debug/cma目录：

# ls /sys/kernel/debug/cma/cma-0/      

参考：