Linux中記憶體buffer和cache的差別

分類： LINUX

細心的朋友會注意到,當你在linux下頻繁存取檔案後,實體記憶體會很快被用光,當程式結束後,記憶體不會被正常釋放,而是一直作為caching.這個問題,貌似有不少人在問,不過都沒有看到有什麼很好解決的辦法.那麼我來談談這個問題.

先來說說free指令

[root@server ~]# free -m

                    total       used       free     shared    buffers     cached

Mem:           249        163         86          0         10             94

-/+ buffers/cache:         58        191

Swap:          511          0          511

其中:

total 記憶體總數

used 已經使用的記憶體數

free 空閑的記憶體數

shared 多個程序共享的記憶體總額

buffers Buffer Cache和cached Page Cache 磁盤緩存的大小

-buffers/cache 的記憶體數:used - buffers - cached

+buffers/cache 的記憶體數:free + buffers + cached

可用的memory=free memory+buffers+cached

有了這個基礎後,可以得知,我現在used為163MB,free為86,buffer和cached分别為10,94

那麼我們來看看,如果我執行複制檔案,記憶體會發生什麼變化.

[root@server ~]# cp -r /etc ~/test/

Mem:           249        244          4          0          8             174

-/+ buffers/cache:         62        187

在我指令執行結束後,used為244MB,free為4MB,buffers為8MB,cached為174MB,天呐都被cached吃掉了.别緊張,這是為了提高檔案讀取效率的做法.

為了提高磁盤存取效率, Linux做了一些精心的設計, 除了對dentry進行緩存(用于VFS,加速檔案路徑名到inode的轉換), 還采取了兩種主要Cache方式：Buffer Cache和Page Cache。前者針對磁盤塊的讀寫，後者針對檔案inode的讀寫。這些Cache有效縮短了 I/O系統調用(比如read,write,getdents)的時間。"

那麼有人說過段時間,linux會自動釋放掉所用的記憶體,我們使用free再來試試,看看是否有釋放>?

[root@server test]# free -m

Mem:           249        244          5          0          8            174

-/+ buffers/cache:         61        188

MS沒有任何變化,那麼我能否手動釋放掉這些記憶體呢???回答是可以的!

/proc是一個虛拟檔案系統,我們可以通過對它的讀寫操作做為與kernel實體間進行通信的一種手段.也就是說可以通過修改/proc中的檔案,來對目前kernel的行為做出調整.那麼我們可以通過調整/proc/sys/vm/drop_caches來釋放記憶體.操作如下:

[root@server test]# cat /proc/sys/vm/drop_caches

首先,/proc/sys/vm/drop_caches的值,預設為0

[root@server test]# sync

手動執行sync指令(描述:sync 指令運作 sync 子例程。如果必須停止系統，則運作 sync 指令以確定檔案系統的完整性。sync 指令将所有未寫的系統緩沖區寫到磁盤中，包含已修改的 i-node、已延遲的塊 I/O 和讀寫映射檔案)

[root@server test]# echo 3 > /proc/sys/vm/drop_caches

3

将/proc/sys/vm/drop_caches值設為3

                   total       used       free     shared    buffers     cached

Mem:           249         66        182          0          0           11

-/+ buffers/cache:         55        194

再來運作free指令,發現現在的used為66MB,free為182MB,buffers為0MB,cached為11MB.那麼有效的釋放了buffer和cache.

有關/proc/sys/vm/drop_caches的用法在下面進行了說明

/proc/sys/vm/drop_caches (since Linux 2.6.16)

              Writing  to  this  file  causes the kernel to drop clean caches,

              dentries and inodes from memory, causing that memory  to  become

              free.

              To  free  pagecache,  use  echo 1 > /proc/sys/vm/drop_caches; to

              free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;

              to   free   pagecache,   dentries  and  inodes,  use  echo  3  >

              /proc/sys/vm/drop_caches.

              Because this is a non-destructive operation  and  dirty  objects

              are not freeable, the user should run sync(8) first.

=========================================================================

buffer 與cache 的差別

A buffer is something that has yet to be "written" to disk. A cache is something that has been "read" from the disk and stored for later use.

　　更詳細的解釋參考：Difference Between Buffer and Cache

　　對于共享記憶體（Shared memory），主要用于在UNIX 環境下不同程序之間共享資料，是程序間通信的一種方法，一般的應用程式不會申請使用共享記憶體，筆者也沒有去驗證共享記憶體對上面等式的影響。如果你有興趣，請參考：What is Shared Memory?

cache 和 buffer的差別：

Cache：高速緩存，是位于CPU與主記憶體間的一種容量較小但速度很高的存儲器。由于CPU的速度遠高于主記憶體，CPU直接從記憶體中存取資料要等待一定時間周期，Cache中儲存着CPU剛用過或循環使用的一部分資料，當CPU再次使用該部分資料時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)和二級Cache(L2 Cache)，L1 Cache內建在CPU内部，L2 Cache早期一般是焊在主機闆上,現在也都內建在CPU内部，常見的容量有256KB或512KB L2 Cache。

Buffer：緩沖區，一個用于存儲速度不同步的裝置或優先級不同的裝置之間傳輸資料的區域。通過緩沖區，可以使程序之間的互相等待變少，進而使從速度慢的裝置讀入資料時，速度快的裝置的操作程序不發生間斷。

Free中的buffer和cache：（它們都是占用記憶體）：

buffer : 作為buffer cache的記憶體，是塊裝置的讀寫緩沖區

cache: 作為page cache的記憶體, 檔案系統的cache

　　如果 cache 的值很大，說明cache住的檔案數很多。如果頻繁通路到的檔案都能被cache住，那麼磁盤的讀IO bi會非常小。

==============================================================================================cache是高速緩存，用于CPU和記憶體之間的緩沖；

buffer是I/O緩存，用于記憶體和硬碟的緩沖

cache最初用于cpu cache, 主要原因是cpu 與memory, 由于cpu快,memory跟不上,且有些值使用次數多,是以放入

cache中，主要目的是，重複使用, 并且一級\二級實體cache速度快，

buffer　主要用于disk　與 memory，　主要是保護硬碟或減少網絡傳輸的次數（記憶體資料表現dataSet）．當然也可以提高速度（不會立即寫入硬碟或直接從硬碟中讀出的資料馬上顯示），重複使用，最初最主要的目的是保護disk,

asp.net的cache有outputcahe與資料cache, 主要目的是　重複使用，提高速度，outputcache主要存儲Reader後的頁，一般是多次使用同一個HTML，建議不要varybyparam，不要存多version,

資料cache,如dataSet, dataTable, 等

@page buffer="true", 使用buffer，讓buffer滿後再顯示讀出或寫入，(c中檔案輸出也是如此,主要目的是保護硬碟), 也可以提高下次的通路速度.   在client browse端表現是: true是一次性顯示,要麼不顯示, 中間等, false是一次顯示一些, 

這在網絡輸出也是如此表現.

對于檔案通路c中預設采用的是buffer = true, 這與asp.net一樣, 

相當于Response.write();中當buffer滿後輸出,以減少網絡的傳輸次數

<%@ OutputCache Duration="60" VaryByParam="none"%>, 是将asp.net生成的HTML緩存起來，在指定的時間内不需要重新生成html， control.ascx.也有元件緩存(htmlCach)。 dataSet也是如此。DataCache,

cache和buffer都是緩沖區， 在翻譯上，cache翻譯成高速緩沖區要好一點(因為主要是為下次通路加速)， buffer翻譯成緩沖區好點。都是緩沖的作用，可目的有點不同，主要是了解，不需要太咬文嚼字.

cache 和 buffer的差別

1, Buffer是緩沖區

2, Cache 是高速緩存，分library cache; data dictionary cache; database buffer cache

Buffer cache 緩沖區高速緩存，用于緩存從硬碟上讀取的資料，減少磁盤I/O.

3, buffer有共享SQL區和PL/SQL區 , 資料庫緩沖區高速緩存有獨立的subcache

4, pool   是共享池 用于存儲最近執行的語句等

5, cache:

A cache is a smaller, higher-speed component that is used to speed up the

access to commonly used data stored in a lower-speed, higher-capacity

component.             

database buffer cache:

The database buffer cache is the portion of the SGA that holds copies of data

blocks

read from data files. All user processes concurrently (同時地,兼任地)connected

to the instance share access to the database buffer cache.

buffer cache就是以block為機關讀入寫出的。

緩存（cache）是把讀取過的資料儲存起來，重新讀取時若命中（找到需要的資料）就不要去讀硬碟了，若沒有命中就讀硬碟。其中的資料會根據讀取頻率進行組織，把最頻繁讀取的内容放在最容易找到的位置，把不再讀的内容不斷往後排，直至從中删除。

緩沖（buffers）是根據磁盤的讀寫設計的，把分散的寫操作集中進行，減少磁盤碎片和硬碟的反複尋道，進而提高系統性能。linux有一個守護程序定期清空緩沖内容（即寫如磁盤），也可以通過sync指令手動清空緩沖。舉個例子吧：

我這裡有一個ext2的U盤，我往裡面cp一個3M的MP3，但U盤的燈沒有跳動，過了一會兒（或者手動輸入sync）U盤的燈

就跳動起來了。解除安裝裝置時會清空緩沖，是以有些時候解除安裝一個裝置時要等上幾秒鐘。

修改/etc/sysctl.conf中的vm.swappiness右邊的數字可以在下次開機時調節swap使用策

略。該數字範圍是0～100，數字越大越傾向于使用swap。預設為60，可以改一下試試。

-----------------------------------------

兩者都是RAM中的資料。簡單來說，buffer是即将要被寫入磁盤的，而cache是被從磁盤中

讀出來的。

buffer是由各種程序配置設定的，被用在如輸入隊列等方面，一個簡單的例子如某個程序要求

有多個字段讀入，在所有字段被讀入完整之前，程序把先前讀入的字段放在buffer中儲存

。

cache經常被用在磁盤的I/O請求上，如果有多個程序都要通路某個檔案，于是該檔案便被

做成cache以友善下次被通路，這樣可提供系統性能。

A buffer is something that has yet to be "written" to disk. A cache is

something that has been "read" from the disk and stored for later use.

更詳細的解釋參考：Difference Between Buffer and Cache

    　對于共享記憶體（Shared memory），主要用于在UNIX 環境下不同程序之間共享資料，

是程序間通信的一種方法，一般的應用程式不會申請使用共享記憶體，筆者也沒有去驗證共

享記憶體對上面等式的影響。如果你有興趣，請參考：What is Shared Memory?

cache 和 buffer的差別：

Cache：高速緩存，是位于CPU與主記憶體間的一種容量較小但速度很高的存儲器。由于

CPU的速度遠高于主記憶體，CPU直接從記憶體中存取資料要等待一定時間周期， Cache中儲存

着CPU剛用過或循環使用的一部分資料，當CPU再次使用該部分資料時可從Cache中直接調

用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)

和二級Cache(L2 Cache)，L1 Cache內建在CPU内部，L2 Cache早期一般是焊在主機闆上,現

在也都內建在CPU内部，常見的容量有256KB或512KB L2 Cache。

Buffer：緩沖區，一個用于存儲速度不同步的裝置或優先級不同的裝置之間傳輸資料

的區域。通過緩沖區，可以使程序之間的互相等待變少，進而使從速度慢的裝置讀入資料

時，速度快的裝置的操作程序不發生間斷。

buffer : 作為buffer cache的記憶體，是塊裝置的讀寫緩沖區

cache: 作為page cache的記憶體, 檔案系統的cache

如果 cache 的值很大，說明cache住的檔案數很多。如果頻繁通路到的檔案都能被

cache住，那麼磁盤的讀IO bi會非常小。

===========================================

# sync

# echo 1 > /proc/sys/vm/drop_caches

   echo 2 > /proc/sys/vm/drop_caches

   echo 3 > /proc/sys/vm/drop_caches

cache釋放：

To free pagecache:

echo 1 > /proc/sys/vm/drop_caches

To free dentries and inodes:

echo 2 > /proc/sys/vm/drop_caches

To free pagecache, dentries and inodes:

echo 3 > /proc/sys/vm/drop_caches

說明，釋放前最好sync一下，防止丢資料。

因為LINUX的核心機制，一般情況下不需要特意去釋放已經使用的cache。這些cache起來的内容可以增加檔案以及的讀寫速度。

=======================================================

本文轉自xiaocao1314051CTO部落格，原文連結：http://blog.51cto.com/xiaocao13140/1929887 ，如需轉載請自行聯系原作者