天天看點
傳回

nginx 記憶體池

參考

https://www.cnblogs.com/xiekeli/archive/2012/10/17/2727432.html?tdsourcetag=s_pctim_aiomsg

源碼版本 nginx-1.12.2

簡述

nginx 是一個http ， 反向代理等的伺服器，以其高效，穩定，低記憶體聞名。最具特點的是它不是以線程方式處理請求，而是采用了一種事件驅動異步架構的方式。這也就要求

整個記憶體池可以看作是由一個個記憶體塊組成的連結清單。

幾種資料結構

nginx 記憶體池

對外的方法 

ngx_pool_t *ngx_create_pool(size_t size, ngx_log_t *log);//建立記憶體池
void *  ngx_palloc(ngx_pool_t *pool, size_t size);//記憶體申請（對齊）
void *  ngx_pnalloc(ngx_pool_t *pool, size_t size);//記憶體申請（不對齊）
void *  ngx_pcalloc(ngx_pool_t *pool, size_t size);//記憶體申請，并初始化為0
ngx_int_t  ngx_pfree(ngx_pool_t *pool, void *p);//釋放記憶體	
void ngx_reset_pool(ngx_pool_t *pool);//重置記憶體池
void ngx_destroy_pool(ngx_pool_t *pool);//銷毀記憶體池

ngx_pool_cleanup_t *ngx_pool_cleanup_add(ngx_pool_t *p, size_t size);//添加外部資源管理
void ngx_pool_run_cleanup_file(ngx_pool_t *p, ngx_fd_t fd);//清理外部資源中管理的檔案
void ngx_pool_cleanup_file(void *data);//清理檔案
void ngx_pool_delete_file(void *data);//删除檔案

需要額外了解的結構，也可等看後文時遇到再回來翻閱

#define ngx_memalign(alignment, size, log)  ngx_alloc(size, log)
void *ngx_alloc(size_t size, ngx_log_t *log){
    void  *p;
    p = malloc(size);
    if (p == NULL) {
        ngx_log_error(NGX_LOG_EMERG, log, ngx_errno,
                      "malloc(%uz) failed", size);
    }
    ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, log, 0, "malloc: %p:%uz", p, size);
    return p;
}
//是以ngx_memalign 實際上可以看作對malloc的封裝并處理了記憶體對齊的問題。

#define NGX_MAX_ALLOC_FROM_POOL  (ngx_pagesize - 1)
//頁大小減一，4096-1

#define ngx_align_ptr(p, a)                                                   \
    (u_char *) (((uintptr_t) (p) + ((uintptr_t) a - 1)) & ~((uintptr_t) a - 1))
//用來對記憶體位址取整的宏相當于手動對指針進行記憶體對齊、

#define ngx_memzero(buf, n)       (void) memset(buf, 0, n)
#define ngx_free          free
#define ngx_close_file           close
#define ngx_delete_file(name)    unlink((const char *) name)

建立記憶體池 

ngx_pool_t *ngx_create_pool(size_t size, ngx_log_t *log) //size代表要配置設定的記憶體節的大小
{
    ngx_pool_t  *p;

    p = ngx_memalign(NGX_POOL_ALIGNMENT, size, log);	
    if (p == NULL) {
        return NULL;
    }

    p->d.last = (u_char *) p + sizeof(ngx_pool_t);  
    p->d.end = (u_char *) p + size;			
    p->d.next = NULL;
    p->d.failed = 0;

    size = size - sizeof(ngx_pool_t);	//目前記憶體池可用記憶體大小
    p->max = (size < NGX_MAX_ALLOC_FROM_POOL) ? size : NGX_MAX_ALLOC_FROM_POOL;  
    //大小記憶體的判定标準如果<=max則算是配置設定小記憶體，最大不能超過 4095

    p->current = p;//配置設定小記憶體時開始搜尋的節點
    p->chain = NULL;
    p->large = NULL;
    p->cleanup = NULL;
    p->log = log;
    
    return p;
}

上面這個代碼相當于建立記憶體池，并且定義了記憶體池的大小。

nginx 記憶體池

配置設定記憶體 

//配置設定記憶體，對齊
void * ngx_palloc(ngx_pool_t *pool, size_t size)
{
#if !(NGX_DEBUG_PALLOC)
    if (size <= pool->max) {
        return ngx_palloc_small(pool, size, 1);
    }
#endif

    return ngx_palloc_large(pool, size);
}

//配置設定記憶體，不對齊
void * ngx_pnalloc(ngx_pool_t *pool, size_t size)
{
#if !(NGX_DEBUG_PALLOC)
    if (size <= pool->max) {
        return ngx_palloc_small(pool, size, 0);
    }
#endif

    return ngx_palloc_large(pool, size);
}

//配置設定記憶體，不對齊，并初始化為0
void * ngx_pcalloc(ngx_pool_t *pool, size_t size)
{
    void *p;

    p = ngx_palloc(pool, size);
    if (p) {
        ngx_memzero(p, size);
    }

    return p;
}

按照是否進行記憶體對齊，是否初始化為0的方式配置設定記憶體。

配置設定小記憶體

static ngx_inline void *
ngx_palloc_small(ngx_pool_t *pool, size_t size, ngx_uint_t align)
{
    u_char      *m;
    ngx_pool_t  *p;

    p = pool->current; //從current節點開始搜尋

    do {
        m = p->d.last;

        if (align) {	//如果設定對齊，則進行将指針進行對齊
            m = ngx_align_ptr(m, NGX_ALIGNMENT);
        }
		
        if ((size_t) (p->d.end - m) >= size) { //如果目前節點的空閑空間足夠
            p->d.last = m + size;

            return m;
        }

        p = p->d.next;

    } while (p);
	//所有記憶體節找完也沒有合适的，則新配置設定一個記憶體塊。
    return ngx_palloc_block(pool, size);
}
           
static void * ngx_palloc_block(ngx_pool_t *pool, size_t size)
{
    u_char      *m;
    size_t       psize;
    ngx_pool_t  *p, *new;

    psize = (size_t) (pool->d.end - (u_char *) pool); 
    //記憶體節總的大小，也即第一次建立記憶體傳入的大小

    m = ngx_memalign(NGX_POOL_ALIGNMENT, psize, pool->log);		//再配置設定一個記憶體節
    if (m == NULL) {
        return NULL;
    }

    new = (ngx_pool_t *) m;				//新配置設定的記憶體。

    new->d.end = m + psize;				//指向尾端
    new->d.next = NULL;
    new->d.failed = 0;

    m += sizeof(ngx_pool_data_t);		
    m = ngx_align_ptr(m, NGX_ALIGNMENT);
    new->d.last = m + size;		
    
	//更新一下配置設定小記憶體的查找的起點，
    //既然能新配置設定記憶體節，說明之前的記憶體節大小可能都占滿了，如果哪個節點失敗次數多的話就會在下一次查找時被跳過
    for (p = pool->current; p->d.next; p = p->d.next) { 
        if (p->d.failed++ > 4) {
            pool->current = p->d.next;
        }
    }

    p->d.next = new;//記憶體節尾插法

    return m;
}

是以當進行第一次小記憶體的配置設定，會出現以下結果。

nginx 記憶體池

後面再配置設定小記憶體時，有可能出現下面的情況

nginx 記憶體池

配置設定大記憶體

static void *
ngx_palloc_large(ngx_pool_t *pool, size_t size)
{
    void              *p;
    ngx_uint_t         n;
    ngx_pool_large_t  *large;

    p = ngx_alloc(size, pool->log);	
    if (p == NULL) {
        return NULL;
    }

    n = 0;
	//哪個大記憶體結構管理的記憶體為空，隻多檢查5個。
    for (large = pool->large; large; large = large->next) {
        if (large->alloc == NULL) {
            large->alloc = p;
            return p;
        }

        if (n++ > 3) {
            break;
        }
    }
	//配置設定新的大記憶體管理結構
    large = ngx_palloc_small(pool, sizeof(ngx_pool_large_t), 1);
    if (large == NULL) {
        ngx_free(p);
        return NULL;
    }
	
    large->alloc = p;
    large->next = pool->large; //将大記憶體管理結構頭插
    pool->large = large;

    return p;
}

配置設定後可能會出現這種情形

nginx 記憶體池

釋放記憶體 

ngx_int_t
ngx_pfree(ngx_pool_t *pool, void *p)
{
    ngx_pool_large_t  *l;

    for (l = pool->large; l; l = l->next) {
        if (p == l->alloc) {
            ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, pool->log, 0,
                           "free: %p", l->alloc);
            ngx_free(l->alloc);
            l->alloc = NULL;

            return NGX_OK;
        }
    }

    return NGX_DECLINED;
}

檢測是否大記憶體，是的話就釋放，否則不做操作。

重置記憶體池 

void
ngx_reset_pool(ngx_pool_t *pool)
{
    ngx_pool_t        *p;
    ngx_pool_large_t  *l;
	//釋放每個大記憶體
    for (l = pool->large; l; l = l->next) {
        if (l->alloc) {
            ngx_free(l->alloc);
        }
    }
	//将重置小記憶體
    for (p = pool; p; p = p->d.next) {
        p->d.last = (u_char *) p + sizeof(ngx_pool_t);
        p->d.failed = 0;
    }
    //這塊有點問題，因為按照它這個方法處理後，除了第一個記憶體塊可用空間是正常的，
    //其它的記憶體塊第一次配置設定 和 重置後 可用空間不同，
    //應該除了記憶體塊頭節點，其它都為 p->d.last = (u_char *) p + sizeof(ngx_pool_data_t);

    pool->current = pool;
    pool->chain = NULL;
    pool->large = NULL;
}

也就是說，假如記憶體池為空和重置後可用空間不同。

nginx 記憶體池

外部資源管理

主要用來儲存外部資源資訊。可以将檔案托管到這個結構，也可以将外部資源和相應的資源處理函數托管到這個結構。nginx 提供的幾種函數是專門處理檔案的，而外部資源則需要使用者處理。

添加一個外部資源管理結構

ngx_pool_cleanup_t *
ngx_pool_cleanup_add(ngx_pool_t *p, size_t size)
{
    ngx_pool_cleanup_t  *c;

    c = ngx_palloc(p, sizeof(ngx_pool_cleanup_t));
    if (c == NULL) {
        return NULL;
    }
	//如果沒有傳入大小，則隻添加一個頭部
    if (size) {
        c->data = ngx_palloc(p, size);
        if (c->data == NULL) {
            return NULL;
        }

    } else {
        c->data = NULL;
    }

    c->handler = NULL;
	
    c->next = p->cleanup;//頭插
    p->cleanup = c;

    ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, p->log, 0, "add cleanup: %p", c);

    return c;
}

清理檔案

void
ngx_pool_cleanup_file(void *data)
{
    ngx_pool_cleanup_file_t  *c = data;

    ngx_log_debug1(NGX_LOG_DEBUG_ALLOC, c->log, 0, "file cleanup: fd:%d",
                   c->fd);
	
    if (ngx_close_file(c->fd) == NGX_FILE_ERROR) {
        ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
                      ngx_close_file_n " \"%s\" failed", c->name);
    }
}

關閉檔案。

void
ngx_pool_run_cleanup_file(ngx_pool_t *p, ngx_fd_t fd)
{
    ngx_pool_cleanup_t       *c;
    ngx_pool_cleanup_file_t  *cf;

    for (c = p->cleanup; c; c = c->next) {
        if (c->handler == ngx_pool_cleanup_file) {

            cf = c->data;

            if (cf->fd == fd) {
                c->handler(cf);
                c->handler = NULL;
                return;
            }
        }
    }
}

關閉外部資料總管中管理的檔案。

删除檔案

void
ngx_pool_delete_file(void *data)
{
    ngx_pool_cleanup_file_t  *c = data;

    ngx_err_t  err;

    ngx_log_debug2(NGX_LOG_DEBUG_ALLOC, c->log, 0, "file cleanup: fd:%d %s",
                   c->fd, c->name);

    if (ngx_delete_file(c->name) == NGX_FILE_ERROR) {
        err = ngx_errno;

        if (err != NGX_ENOENT) {
            ngx_log_error(NGX_LOG_CRIT, c->log, err,
                          ngx_delete_file_n " \"%s\" failed", c->name);
        }
    }

    if (ngx_close_file(c->fd) == NGX_FILE_ERROR) {
        ngx_log_error(NGX_LOG_ALERT, c->log, ngx_errno,
                      ngx_close_file_n " \"%s\" failed", c->name);
    }
}

先斷開與檔案的連接配接，再關閉。

總結

最後的操作可能會出現這個亞子的圖。

nginx 記憶體池
上一篇: 區塊鍊開發公司淺析區塊鍊技術給保險行業的創新
下一篇: 2018雲栖大會——資料庫核心專場：邀您探秘新一代分布式資料庫X-DB