Linux運用一個功能廣泛的緩沖和緩存架構來提高系統的速度。緩沖和緩存利用一部分系統實體記憶體,確定最重要、最常使用的塊裝置資料在操作時可直接從主記憶體擷取,而無需從低速裝置讀取。實體記憶體還用于存儲從快裝置讀取的資料,使得随後對該資料的通路可直接在實體記憶體進行,而無需從外部裝置再次取用。考慮系統中多種因素然後延遲寫回在總體上改進了系統的性能。前面分析的部分,例如記憶體管理的slab緩存是一個記憶體到記憶體的緩存,其目地不是加速對低速裝置的操作,而是對現有資源進行更簡單、更高效的使用。檔案系統的Dentry緩存也用于減少對低速塊裝置的通路,但他無法推廣到通用場合,因為他是專門用于處理單一資料類型的。
核心為塊裝置提供了兩種通用的緩存方案:
1) 頁緩存,針對以頁為機關的所有操作,并考慮了特定體系結構上的頁長度。一個主要的例子是記憶體映射技術。因為其他類型的檔案通路也是基于核心中的這一技術實作的。是以頁緩存實際上負責了塊裝置的大部分緩存工作。
2) 塊緩存,以塊為操作機關。在進行I/O操作時,存取的機關是裝置的各個塊,而不是整個記憶體頁。盡管頁長度對所有檔案系統都是相同的,但塊長度取決于特定的檔案系統或其設定。因而,塊緩存必須能夠處理不同長度的塊。
目前用于塊傳輸的标準資料結構已經演變為struct bio。用這種方式進行塊傳輸更為高效,因為他可以合并同一請求中後續的塊,加速處理的進行。在許多場合下,頁緩存和塊緩存是聯合使用的。例如,一個緩存的頁在寫操作期間可以劃分為不同的緩沖區,這樣可以在更細的力度下,識别出頁被修改的部分。好處在于,在将資料寫回時,隻需要回寫被修改的部分,無需将這個頁面傳輸回底層的塊裝置。
頁面緩存結構
[cpp] view plain copy print ?
- struct address_space {
- struct inode *host;
- struct radix_tree_root page_tree;
- spinlock_t tree_lock;
- unsigned int i_mmap_writable;
- struct prio_tree_root i_mmap;
- struct list_head i_mmap_nonlinear;
- spinlock_t i_mmap_lock;
- unsigned int truncate_count;
- unsigned long nrpages;
- pgoff_t writeback_index;
- const struct address_space_operations *a_ops;
- unsigned long flags;
- struct backing_dev_info *backing_dev_info;
- spinlock_t private_lock;
- struct list_head private_list;
- struct address_space *assoc_mapping;
- } __attribute__((aligned(sizeof(long))));
後備存儲資訊
[cpp] view plain copy print ?
- struct backing_dev_info {
- struct list_head bdi_list;
- struct rcu_head rcu_head;
- unsigned long ra_pages;
- unsigned long state;
- unsigned int capabilities;
- congested_fn *congested_fn;
- void *congested_data;
- void (*unplug_io_fn)(struct backing_dev_info *, struct page *);
- void *unplug_io_data;
- char *name;
- struct percpu_counter bdi_stat[NR_BDI_STAT_ITEMS];
- struct prop_local_percpu completions;
- int dirty_exceeded;
- unsigned int min_ratio;
- unsigned int max_ratio, max_prop_frac;
- struct bdi_writeback wb;
- spinlock_t wb_lock;
- struct list_head wb_list;
- unsigned long wb_mask;
- unsigned int wb_cnt;
- struct list_head work_list;
- struct device *dev;
- #ifdef CONFIG_DEBUG_FS
- struct dentry *debug_dir;
- struct dentry *debug_stats;
- #endif
- };
下圖為位址空間與核心其他部分的關聯。
核心采用一種通用的位址空間方案,來建立緩存資料與其來源之間的關聯。
1) 記憶體中的頁配置設定到每個位址空間。這些頁的内容可以由使用者程序或核心本身使用各式各樣的方法操作。這些資料表示了緩存中的内容;
2) 後備存儲器struct backing_dev_info指定了填充位址空間中頁的資料的來源。位址空間關聯到處理器的虛拟位址空間,是由處理器在虛拟記憶體中管理的一個區域到裝置device上對應位置之間的一個映射。
如果通路了虛拟記憶體中的某個位置,該位置沒有關聯到實體記憶體頁,核心可根據位址空間結構來找到讀取資料的來源。
為支援資料傳輸,每個位址空間都提供了一組操作,以容許位址空間所涉及雙方面的互動。
位址空間是核心中最關鍵的資料結構之一,對該資料結構的管理,已經演變為核心面對的最關鍵的問題之一。 頁緩存的任務在于,獲得一些實體記憶體頁,以加速在塊裝置上按頁為機關執行的操作。
核心使用了基數樹來管理與一個位址空間相關的所有頁,以便盡可能降低開銷。對于基數樹的了解在這裡就不分析了,後面有空的時候再做分析。
位址空間操作
[cpp] view plain copy print ?
- struct address_space_operations {
- int (*writepage)(struct page *page, struct writeback_control *wbc);
- int (*readpage)(struct file *, struct page *);
- void (*sync_page)(struct page *);
- int (*writepages)(struct address_space *, struct writeback_control *);
- int (*set_page_dirty)(struct page *page);
- int (*readpages)(struct file *filp, struct address_space *mapping,
- struct list_head *pages, unsigned nr_pages);
- int (*write_begin)(struct file *, struct address_space *mapping,
- loff_t pos, unsigned len, unsigned flags,
- struct page **pagep, void **fsdata);
- int (*write_end)(struct file *, struct address_space *mapping,
- loff_t pos, unsigned len, unsigned copied,
- struct page *page, void *fsdata);
- sector_t (*bmap)(struct address_space *, sector_t);
- void (*invalidatepage) (struct page *, unsigned long);
- int (*releasepage) (struct page *, gfp_t);
- ssize_t (*direct_IO)(int, struct kiocb *, const struct iovec *iov,
- loff_t offset, unsigned long nr_segs);
- int (*get_xip_mem)(struct address_space *, pgoff_t, int,
- void **, unsigned long *);
- int (*migratepage) (struct address_space *,
- struct page *, struct page *);
- int (*launder_page) (struct page *);
- int (*is_partially_uptodate) (struct page *, read_descriptor_t *,
- unsigned long);
- int (*error_remove_page)(struct address_space *, struct page *);
- };
頁面緩存的實作基于基數樹,緩存屬于核心中性能要求最苛刻的部分之一,而且廣泛用于核心的所有子系統,實作也比較簡單。舉兩個例子,其他的暫時不做分析了。
配置設定頁面用于加入位址空間
[cpp] view plain copy print ?
- static inline struct page *page_cache_alloc(struct address_space *x)
- {
- return __page_cache_alloc(mapping_gfp_mask(x));
- }
配置設定完了添加到基數樹中
[cpp] view plain copy print ?
- static inline int add_to_page_cache(struct page *page,
- struct address_space *mapping, pgoff_t offset, gfp_t gfp_mask)
- {
- int error;
- __set_page_locked(page);
- error = add_to_page_cache_locked(page, mapping, offset, gfp_mask);
- if (unlikely(error))
- __clear_page_locked(page);
- return error;
- }
[cpp] view plain copy print ?
- int add_to_page_cache_locked(struct page *page, struct address_space *mapping,
- pgoff_t offset, gfp_t gfp_mask)
- {
- int error;
- VM_BUG_ON(!PageLocked(page));
- error = mem_cgroup_cache_charge(page, current->mm,
- gfp_mask & GFP_RECLAIM_MASK);
- if (error)
- goto out;
- error = radix_tree_preload(gfp_mask & ~__GFP_HIGHMEM);
- if (error == 0) {
- page_cache_get(page);
- page->mapping = mapping;
- page->index = offset;
- spin_lock_irq(&mapping->tree_lock);
- error = radix_tree_insert(&mapping->page_tree, offset, page);
- if (likely(!error)) {
- mapping->nrpages++;
- __inc_zone_page_state(page, NR_FILE_PAGES);
- if (PageSwapBacked(page))
- __inc_zone_page_state(page, NR_SHMEM);
- spin_unlock_irq(&mapping->tree_lock);
- } else {
- page->mapping = NULL;
- spin_unlock_irq(&mapping->tree_lock);
- mem_cgroup_uncharge_cache_page(page);
- page_cache_release(page);
- }
- radix_tree_preload_end();
- } else
- mem_cgroup_uncharge_cache_page(page);
- out:
- return error;
- }
來源:
Linux運用一個功能廣泛的緩沖和緩存架構來提高系統的速度。緩沖和緩存利用一部分系統實體記憶體,確定最重要、最常使用的塊裝置資料在操作時可直接從主記憶體擷取,而無需從低速裝置讀取。實體記憶體還用于存儲從快裝置讀取的資料,使得随後對該資料的通路可直接在實體記憶體進行,而無需從外部裝置再次取用。考慮系統中多種因素然後延遲寫回在總體上改進了系統的性能。前面分析的部分,例如記憶體管理的slab緩存是一個記憶體到記憶體的緩存,其目地不是加速對低速裝置的操作,而是對現有資源進行更簡單、更高效的使用。檔案系統的Dentry緩存也用于減少對低速塊裝置的通路,但他無法推廣到通用場合,因為他是專門用于處理單一資料類型的。
核心為塊裝置提供了兩種通用的緩存方案:
1) 頁緩存,針對以頁為機關的所有操作,并考慮了特定體系結構上的頁長度。一個主要的例子是記憶體映射技術。因為其他類型的檔案通路也是基于核心中的這一技術實作的。是以頁緩存實際上負責了塊裝置的大部分緩存工作。
2) 塊緩存,以塊為操作機關。在進行I/O操作時,存取的機關是裝置的各個塊,而不是整個記憶體頁。盡管頁長度對所有檔案系統都是相同的,但塊長度取決于特定的檔案系統或其設定。因而,塊緩存必須能夠處理不同長度的塊。
目前用于塊傳輸的标準資料結構已經演變為struct bio。用這種方式進行塊傳輸更為高效,因為他可以合并同一請求中後續的塊,加速處理的進行。在許多場合下,頁緩存和塊緩存是聯合使用的。例如,一個緩存的頁在寫操作期間可以劃分為不同的緩沖區,這樣可以在更細的力度下,識别出頁被修改的部分。好處在于,在将資料寫回時,隻需要回寫被修改的部分,無需将這個頁面傳輸回底層的塊裝置。
頁面緩存結構
[cpp] view plain copy print ?
- struct address_space {
- struct inode *host;
- struct radix_tree_root page_tree;
- spinlock_t tree_lock;
- unsigned int i_mmap_writable;
- struct prio_tree_root i_mmap;
- struct list_head i_mmap_nonlinear;
- spinlock_t i_mmap_lock;
- unsigned int truncate_count;
- unsigned long nrpages;
- pgoff_t writeback_index;
- const struct address_space_operations *a_ops;
- unsigned long flags;
- struct backing_dev_info *backing_dev_info;
- spinlock_t private_lock;
- struct list_head private_list;
- struct address_space *assoc_mapping;
- } __attribute__((aligned(sizeof(long))));
後備存儲資訊
[cpp] view plain copy print ?
- struct backing_dev_info {
- struct list_head bdi_list;
- struct rcu_head rcu_head;
- unsigned long ra_pages;
- unsigned long state;
- unsigned int capabilities;
- congested_fn *congested_fn;
- void *congested_data;
- void (*unplug_io_fn)(struct backing_dev_info *, struct page *);
- void *unplug_io_data;
- char *name;
- struct percpu_counter bdi_stat[NR_BDI_STAT_ITEMS];
- struct prop_local_percpu completions;
- int dirty_exceeded;
- unsigned int min_ratio;
- unsigned int max_ratio, max_prop_frac;
- struct bdi_writeback wb;
- spinlock_t wb_lock;
- struct list_head wb_list;
- unsigned long wb_mask;
- unsigned int wb_cnt;
- struct list_head work_list;
- struct device *dev;
- #ifdef CONFIG_DEBUG_FS
- struct dentry *debug_dir;
- struct dentry *debug_stats;
- #endif
- };
下圖為位址空間與核心其他部分的關聯。
核心采用一種通用的位址空間方案,來建立緩存資料與其來源之間的關聯。
1) 記憶體中的頁配置設定到每個位址空間。這些頁的内容可以由使用者程序或核心本身使用各式各樣的方法操作。這些資料表示了緩存中的内容;
2) 後備存儲器struct backing_dev_info指定了填充位址空間中頁的資料的來源。位址空間關聯到處理器的虛拟位址空間,是由處理器在虛拟記憶體中管理的一個區域到裝置device上對應位置之間的一個映射。
如果通路了虛拟記憶體中的某個位置,該位置沒有關聯到實體記憶體頁,核心可根據位址空間結構來找到讀取資料的來源。
為支援資料傳輸,每個位址空間都提供了一組操作,以容許位址空間所涉及雙方面的互動。
位址空間是核心中最關鍵的資料結構之一,對該資料結構的管理,已經演變為核心面對的最關鍵的問題之一。 頁緩存的任務在于,獲得一些實體記憶體頁,以加速在塊裝置上按頁為機關執行的操作。
核心使用了基數樹來管理與一個位址空間相關的所有頁,以便盡可能降低開銷。對于基數樹的了解在這裡就不分析了,後面有空的時候再做分析。
位址空間操作
[cpp] view plain copy print ?
- struct address_space_operations {
- int (*writepage)(struct page *page, struct writeback_control *wbc);
- int (*readpage)(struct file *, struct page *);
- void (*sync_page)(struct page *);
- int (*writepages)(struct address_space *, struct writeback_control *);
- int (*set_page_dirty)(struct page *page);
- int (*readpages)(struct file *filp, struct address_space *mapping,
- struct list_head *pages, unsigned nr_pages);
- int (*write_begin)(struct file *, struct address_space *mapping,
- loff_t pos, unsigned len, unsigned flags,
- struct page **pagep, void **fsdata);
- int (*write_end)(struct file *, struct address_space *mapping,
- loff_t pos, unsigned len, unsigned copied,
- struct page *page, void *fsdata);
- sector_t (*bmap)(struct address_space *, sector_t);
- void (*invalidatepage) (struct page *, unsigned long);
- int (*releasepage) (struct page *, gfp_t);
- ssize_t (*direct_IO)(int, struct kiocb *, const struct iovec *iov,
- loff_t offset, unsigned long nr_segs);
- int (*get_xip_mem)(struct address_space *, pgoff_t, int,
- void **, unsigned long *);
- int (*migratepage) (struct address_space *,
- struct page *, struct page *);
- int (*launder_page) (struct page *);
- int (*is_partially_uptodate) (struct page *, read_descriptor_t *,
- unsigned long);
- int (*error_remove_page)(struct address_space *, struct page *);
- };
頁面緩存的實作基于基數樹,緩存屬于核心中性能要求最苛刻的部分之一,而且廣泛用于核心的所有子系統,實作也比較簡單。舉兩個例子,其他的暫時不做分析了。
配置設定頁面用于加入位址空間
[cpp] view plain copy print ?
- static inline struct page *page_cache_alloc(struct address_space *x)
- {
- return __page_cache_alloc(mapping_gfp_mask(x));
- }
配置設定完了添加到基數樹中
[cpp] view plain copy print ?
- static inline int add_to_page_cache(struct page *page,
- struct address_space *mapping, pgoff_t offset, gfp_t gfp_mask)
- {
- int error;
- __set_page_locked(page);
- error = add_to_page_cache_locked(page, mapping, offset, gfp_mask);
- if (unlikely(error))
- __clear_page_locked(page);
- return error;
- }
[cpp] view plain copy print ?
- int add_to_page_cache_locked(struct page *page, struct address_space *mapping,
- pgoff_t offset, gfp_t gfp_mask)
- {
- int error;
- VM_BUG_ON(!PageLocked(page));
- error = mem_cgroup_cache_charge(page, current->mm,
- gfp_mask & GFP_RECLAIM_MASK);
- if (error)
- goto out;
- error = radix_tree_preload(gfp_mask & ~__GFP_HIGHMEM);
- if (error == 0) {
- page_cache_get(page);
- page->mapping = mapping;
- page->index = offset;
- spin_lock_irq(&mapping->tree_lock);
- error = radix_tree_insert(&mapping->page_tree, offset, page);
- if (likely(!error)) {
- mapping->nrpages++;
- __inc_zone_page_state(page, NR_FILE_PAGES);
- if (PageSwapBacked(page))
- __inc_zone_page_state(page, NR_SHMEM);
- spin_unlock_irq(&mapping->tree_lock);
- } else {
- page->mapping = NULL;
- spin_unlock_irq(&mapping->tree_lock);
- mem_cgroup_uncharge_cache_page(page);
- page_cache_release(page);
- }
- radix_tree_preload_end();
- } else
- mem_cgroup_uncharge_cache_page(page);
- out:
- return error;
- }
來源:http://blog.csdn.net/bullbat/article/details/7296988
Linux運用一個功能廣泛的緩沖和緩存架構來提高系統的速度。緩沖和緩存利用一部分系統實體記憶體,確定最重要、最常使用的塊裝置資料在操作時可直接從主記憶體擷取,而無需從低速裝置讀取。實體記憶體還用于存儲從快裝置讀取的資料,使得随後對該資料的通路可直接在實體記憶體進行,而無需從外部裝置再次取用。考慮系統中多種因素然後延遲寫回在總體上改進了系統的性能。前面分析的部分,例如記憶體管理的slab緩存是一個記憶體到記憶體的緩存,其目地不是加速對低速裝置的操作,而是對現有資源進行更簡單、更高效的使用。檔案系統的Dentry緩存也用于減少對低速塊裝置的通路,但他無法推廣到通用場合,因為他是專門用于處理單一資料類型的。
核心為塊裝置提供了兩種通用的緩存方案:
1) 頁緩存,針對以頁為機關的所有操作,并考慮了特定體系結構上的頁長度。一個主要的例子是記憶體映射技術。因為其他類型的檔案通路也是基于核心中的這一技術實作的。是以頁緩存實際上負責了塊裝置的大部分緩存工作。
2) 塊緩存,以塊為操作機關。在進行I/O操作時,存取的機關是裝置的各個塊,而不是整個記憶體頁。盡管頁長度對所有檔案系統都是相同的,但塊長度取決于特定的檔案系統或其設定。因而,塊緩存必須能夠處理不同長度的塊。
目前用于塊傳輸的标準資料結構已經演變為struct bio。用這種方式進行塊傳輸更為高效,因為他可以合并同一請求中後續的塊,加速處理的進行。在許多場合下,頁緩存和塊緩存是聯合使用的。例如,一個緩存的頁在寫操作期間可以劃分為不同的緩沖區,這樣可以在更細的力度下,識别出頁被修改的部分。好處在于,在将資料寫回時,隻需要回寫被修改的部分,無需将這個頁面傳輸回底層的塊裝置。
頁面緩存結構
[cpp] view plain copy print ?
- struct address_space {
- struct inode *host;
- struct radix_tree_root page_tree;
- spinlock_t tree_lock;
- unsigned int i_mmap_writable;
- struct prio_tree_root i_mmap;
- struct list_head i_mmap_nonlinear;
- spinlock_t i_mmap_lock;
- unsigned int truncate_count;
- unsigned long nrpages;
- pgoff_t writeback_index;
- const struct address_space_operations *a_ops;
- unsigned long flags;
- struct backing_dev_info *backing_dev_info;
- spinlock_t private_lock;
- struct list_head private_list;
- struct address_space *assoc_mapping;
- } __attribute__((aligned(sizeof(long))));
後備存儲資訊
[cpp] view plain copy print ?
- struct backing_dev_info {
- struct list_head bdi_list;
- struct rcu_head rcu_head;
- unsigned long ra_pages;
- unsigned long state;
- unsigned int capabilities;
- congested_fn *congested_fn;
- void *congested_data;
- void (*unplug_io_fn)(struct backing_dev_info *, struct page *);
- void *unplug_io_data;
- char *name;
- struct percpu_counter bdi_stat[NR_BDI_STAT_ITEMS];
- struct prop_local_percpu completions;
- int dirty_exceeded;
- unsigned int min_ratio;
- unsigned int max_ratio, max_prop_frac;
- struct bdi_writeback wb;
- spinlock_t wb_lock;
- struct list_head wb_list;
- unsigned long wb_mask;
- unsigned int wb_cnt;
- struct list_head work_list;
- struct device *dev;
- #ifdef CONFIG_DEBUG_FS
- struct dentry *debug_dir;
- struct dentry *debug_stats;
- #endif
- };
下圖為位址空間與核心其他部分的關聯。
核心采用一種通用的位址空間方案,來建立緩存資料與其來源之間的關聯。
1) 記憶體中的頁配置設定到每個位址空間。這些頁的内容可以由使用者程序或核心本身使用各式各樣的方法操作。這些資料表示了緩存中的内容;
2) 後備存儲器struct backing_dev_info指定了填充位址空間中頁的資料的來源。位址空間關聯到處理器的虛拟位址空間,是由處理器在虛拟記憶體中管理的一個區域到裝置device上對應位置之間的一個映射。
如果通路了虛拟記憶體中的某個位置,該位置沒有關聯到實體記憶體頁,核心可根據位址空間結構來找到讀取資料的來源。
為支援資料傳輸,每個位址空間都提供了一組操作,以容許位址空間所涉及雙方面的互動。
位址空間是核心中最關鍵的資料結構之一,對該資料結構的管理,已經演變為核心面對的最關鍵的問題之一。 頁緩存的任務在于,獲得一些實體記憶體頁,以加速在塊裝置上按頁為機關執行的操作。
核心使用了基數樹來管理與一個位址空間相關的所有頁,以便盡可能降低開銷。對于基數樹的了解在這裡就不分析了,後面有空的時候再做分析。
位址空間操作
[cpp] view plain copy print ?
- struct address_space_operations {
- int (*writepage)(struct page *page, struct writeback_control *wbc);
- int (*readpage)(struct file *, struct page *);
- void (*sync_page)(struct page *);
- int (*writepages)(struct address_space *, struct writeback_control *);
- int (*set_page_dirty)(struct page *page);
- int (*readpages)(struct file *filp, struct address_space *mapping,
- struct list_head *pages, unsigned nr_pages);
- int (*write_begin)(struct file *, struct address_space *mapping,
- loff_t pos, unsigned len, unsigned flags,
- struct page **pagep, void **fsdata);
- int (*write_end)(struct file *, struct address_space *mapping,
- loff_t pos, unsigned len, unsigned copied,
- struct page *page, void *fsdata);
- sector_t (*bmap)(struct address_space *, sector_t);
- void (*invalidatepage) (struct page *, unsigned long);
- int (*releasepage) (struct page *, gfp_t);
- ssize_t (*direct_IO)(int, struct kiocb *, const struct iovec *iov,
- loff_t offset, unsigned long nr_segs);
- int (*get_xip_mem)(struct address_space *, pgoff_t, int,
- void **, unsigned long *);
- int (*migratepage) (struct address_space *,
- struct page *, struct page *);
- int (*launder_page) (struct page *);
- int (*is_partially_uptodate) (struct page *, read_descriptor_t *,
- unsigned long);
- int (*error_remove_page)(struct address_space *, struct page *);
- };
頁面緩存的實作基于基數樹,緩存屬于核心中性能要求最苛刻的部分之一,而且廣泛用于核心的所有子系統,實作也比較簡單。舉兩個例子,其他的暫時不做分析了。
配置設定頁面用于加入位址空間
[cpp] view plain copy print ?
- static inline struct page *page_cache_alloc(struct address_space *x)
- {
- return __page_cache_alloc(mapping_gfp_mask(x));
- }
配置設定完了添加到基數樹中
[cpp] view plain copy print ?
- static inline int add_to_page_cache(struct page *page,
- struct address_space *mapping, pgoff_t offset, gfp_t gfp_mask)
- {
- int error;
- __set_page_locked(page);
- error = add_to_page_cache_locked(page, mapping, offset, gfp_mask);
- if (unlikely(error))
- __clear_page_locked(page);
- return error;
- }
[cpp] view plain copy print ?
- int add_to_page_cache_locked(struct page *page, struct address_space *mapping,
- pgoff_t offset, gfp_t gfp_mask)
- {
- int error;
- VM_BUG_ON(!PageLocked(page));
- error = mem_cgroup_cache_charge(page, current->mm,
- gfp_mask & GFP_RECLAIM_MASK);
- if (error)
- goto out;
- error = radix_tree_preload(gfp_mask & ~__GFP_HIGHMEM);
- if (error == 0) {
- page_cache_get(page);
- page->mapping = mapping;
- page->index = offset;
- spin_lock_irq(&mapping->tree_lock);
- error = radix_tree_insert(&mapping->page_tree, offset, page);
- if (likely(!error)) {
- mapping->nrpages++;
- __inc_zone_page_state(page, NR_FILE_PAGES);
- if (PageSwapBacked(page))
- __inc_zone_page_state(page, NR_SHMEM);
- spin_unlock_irq(&mapping->tree_lock);
- } else {
- page->mapping = NULL;
- spin_unlock_irq(&mapping->tree_lock);
- mem_cgroup_uncharge_cache_page(page);
- page_cache_release(page);
- }
- radix_tree_preload_end();
- } else
- mem_cgroup_uncharge_cache_page(page);
- out:
- return error;
- }