現在的伺服器大部分都是運作在Linux上面的,是以作為一個程式員有必要簡單地了解一下系統是如何運作的。
對于記憶體部分需要知道:
- 位址映射
- 記憶體管理的方式
- 缺頁異常
先來看一些基本的知識,在程序看來,記憶體分為核心态和使用者态兩部分,經典比例如下:

從使用者态到核心态一般通過系統調用、中斷來實作。使用者态的記憶體被劃分為不同的區域用于不同的目的:
當然核心态也不會無差别地使用,是以,其劃分如下:
下面來仔細看這些記憶體是如何管理的。
位址
在Linux内部的位址的映射過程為邏輯位址–>線性位址–>實體位址,實體位址最簡單:位址總線中傳輸的數字信号,而線性位址和邏輯位址所表示的則是一種轉換規則,線性位址規則如下:
這部分由MMU完成,其中涉及到主要的寄存器有CR0、CR3。機器指令中出現的是邏輯位址,邏輯位址規則如下:
在Linux中的邏輯位址等于線性位址,也就是說Inter為了相容把事情搞得很複雜,Linux簡化順便偷個懶。
記憶體管理的方式
在系統boot的時候會去探測記憶體的大小和情況,在建立複雜的結構之前,需要用一個簡單的方式來管理這些記憶體,這就是bootmem,簡單來說就是位圖,不過其中也有一些優化的思路。
bootmem再怎麼優化,效率都不高,在要配置設定記憶體的時候畢竟是要去周遊,buddy系統剛好能解決這個問題:在内部儲存一些2的幂次大小的空閑記憶體片段,如果要配置設定3page,去4page的清單裡面取一個,配置設定3個之後将剩下的1個放回去,記憶體釋放的過程剛好是一個逆過程。用一個圖來表示:
可以看到0、4、5、6、7都是正在使用的,那麼,1、2被釋放的時候,他們會合并嗎?
static inline unsigned long
__find_buddy_index(unsigned long page_idx, unsigned int order)
{
return page_idx ^ (1 << order);// 更新最高位,0~1互換
}
從上面這段代碼中可以看到,0、1是buddy,2、3是buddy,雖然1、2相鄰,但他們不是。記憶體碎片是系統運作的大敵,夥伴系統機制可以在一定程度上防止碎片~~另外,我們可以通過cat /proc/buddyinfo擷取到各order中的空閑的頁面數。
夥伴系統每次配置設定記憶體都是以頁(4KB)為機關的,但系統運作的時候使用的絕大部分的資料結構都是很小的,為一個小對象配置設定4KB顯然是不劃算了。Linux中使用slab來解決小對象的配置設定:
在運作時,slab向buddy“批發”一些記憶體,加工切塊以後“散賣”出去。随着大規模多處理器系統和NUMA系統的廣泛應用,slab終于暴露出不足:
- 複雜的隊列管理
- 管理資料和隊列存儲開銷較大
- 長時間運作partial隊列可能會非常長
- 對NUMA支援非常複雜
為了解決這些高手們開發了slub:改造page結構來削減slab管理結構的開銷、每個CPU都有一個本地活動的slab(kmem_cache_cpu)等。對于小型的嵌入式系統存在一個slab模拟層slob,在這種系統中它更有優勢。
小記憶體的問題算是解決了,但還有一個大記憶體的問題:用夥伴系統配置設定10 x 4KB的資料時,會去16 x 4KB的空閑清單裡面去找(這樣得到的實體記憶體是連續的),但很有可能系統裡面有記憶體,但是夥伴系統配置設定不出來,因為他們被分割成小的片段。那麼,vmalloc就是要用這些碎片來拼湊出一個大記憶體,相當于收集一些“邊角料”,組裝成一個成品後“出售”:
之前的記憶體都是直接映射的,第一次感覺到頁式管理的存在:D 另外對于高端記憶體,提供了kmap方法為page配置設定一個線性位址。
程序由不同長度的段組成:代碼段、動态庫的代碼、全局變量和動态産生資料的堆、棧等,在Linux中為每個程序管理了一套虛拟位址空間:
在我們寫代碼malloc完以後,并沒有馬上占用那麼大的實體記憶體,而僅僅是維護上面的虛拟位址空間而已,隻有在真正需要的時候才配置設定實體記憶體,這就是COW(COPY-ON-WRITE:寫時複制)技術,而實體配置設定的過程就是最複雜的缺頁異常處理環節了,下面來看!
缺頁異常
在實際需要某個虛拟記憶體區域的資料之前,和實體記憶體之間的映射關系不會建立。如果程序通路的虛拟位址空間部分尚未與頁幀關聯,處理器自動引發一個缺頁異常。在核心處理缺頁異常時可以拿到的資訊如下:
- cr2:通路到線性位址
- err_code:異常發生時由控制單元壓入棧中,表示發生異常的原因
- regs:發生異常時寄存器的值
處理的流程如下:
發生缺頁異常的時候,可能因為不常使用而被swap到磁盤上了,swap相關的指令如下:
swapon 開啟swap
swapoff 關閉swap
/proc/sys/vm/swapiness 分值越大越積極使用swap,可以修改/etc/sysctl.conf中添加vm.swappiness=xx[1-100]來修改
如果記憶體是mmap映射到記憶體中的,那麼在讀、寫對應記憶體的時候也會産生缺頁異常。
本文轉載自:http://www.linuxprobe.com/programmer-must-read%EF%BC%9A-linux-memory-management/
免費提供最新Linux技術教程書籍,為開源技術愛好者努力做得更多更好: http://www.linuxprobe.com/