解決 nf_conntrack: table full, dropping packet 的幾種思路

解決 nf_conntrack: table full, dropping packet 的幾種思路

nf_conntrack 工作在 3 層，支援 IPv4 和 IPv6，而 ip_conntrack 隻支援 IPv4。目前，大多的 ip_conntrack_* 已被 nf_conntrack_* 取代，很多 ip_conntrack_* 僅僅是個 alias，原先的 ip_conntrack 的 /proc/sys/net/ipv4/netfilter/ 依然存在，但是新的 nf_conntrack 在 /proc/sys/net/netfilter/ 中，這個應該是做個向下的相容：

$ pwd

/proc/sys/net/ipv4/netfilter

/proc/sys/net/netfilter

檢視目前的連接配接數：

# grep ip_conntrack /proc/slabinfo

ip_conntrack       38358  64324    304   13    1 : tunables   54   27    8 : slabdata   4948   4948    216

查出目前 ip_conntrack 的排名：

$ cat /proc/net/ip_conntrack | cut -d ' ' -f 10 | cut -d '=' -f 2 | sort | uniq -c | sort -nr | head -n 10

nf_conntrack/ip_conntrack 跟 nat 有關，用來跟蹤連接配接條目，它會使用一個哈希表來記錄 established 的記錄。nf_conntrack 在 2.6.15 被引入，而 ip_conntrack 在 2.6.22 被移除，如果該哈希表滿了，就會出現：

nf_conntrack: table full, dropping packet

解決此問題有如下幾種思路。

1.不使用 nf_conntrack 子產品

首先要移除 state 子產品，因為使用該子產品需要加載 nf_conntrack。確定 iptables 規則中沒有出現類似 state 子產品的規則，如果有的話将其移除：

-A INPUT -m state –state RELATED,ESTABLISHED -j ACCEPT

注釋 /etc/sysconfig/iptables-config 中的：

IPTABLES_MODULES="ip_conntrack_netbios_ns"

移除 nf_conntrack 子產品：

$ sudo modprobe -r xt_NOTRACK nf_conntrack_netbios_ns nf_conntrack_ipv4 xt_state

$ sudo modprobe -r nf_conntrack

現在 /proc/net/ 下面應該沒有 nf_conntrack 了。

2.調整 /proc/ 下面的參數

可以增大 conntrack 的條目(sessions, connection tracking entries) CONNTRACK_MAX 或者增加存儲 conntrack 條目哈希表的大小 HASHSIZE

預設情況下，CONNTRACK_MAX 和 HASHSIZE 會根據系統記憶體大小計算出一個比較合理的值：

對于 CONNTRACK_MAX，其計算公式：

CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (ARCH / 32)

比如一個 64 位 48G 的機器可以同時處理 48*1024^3/16384/2 = 1572864 條 netfilter 連接配接。對于大于 1G 記憶體的系統，預設的 CONNTRACK_MAX 是 65535。

對于 HASHSIZE，預設的有這樣的轉換關系：

CONNTRACK_MAX = HASHSIZE * 8

這表示每個連結清單裡面平均有 8 個 conntrack 條目。其真正的計算公式如下：

HASHSIZE = CONNTRACK_MAX / 8 = RAMSIZE (in bytes) / 131072 / (ARCH / 32)

比如一個 64 位 48G 的機器可以存儲 48*1024^3/131072/2 = 196608 的buckets(連接配接清單)。對于大于 1G 記憶體的系統，預設的 HASHSIZE 是 8192。

可以通過 echo 直接修改目前系統 CONNTRACK_MAX 以及 HASHSIZE 的值：

$ sudo su -c "echo 100000 > /proc/sys/net/netfilter/nf_conntrack_max"

$ sudo su -c "echo 50000 > /proc/sys/net/netfilter/nf_conntrack_buckets"

還可以縮短 timeout 的值：

$ sudo su -c "echo 600 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established"

3.使用 raw 表，不跟蹤連接配接

iptables 中的 raw 表跟包的跟蹤有關，基本就是用來幹一件事，通過 NOTRACK 給不需要被連接配接跟蹤的包打标記，也就是說，如果一個連接配接遇到了 -j NOTRACK，conntrack 就不會跟蹤該連接配接，raw 的優先級大于 mangle, nat, filter，包含 PREROUTING 和 OUTPUT 鍊。

當執行 -t raw 時，系統會自動加載 iptable_raw 子產品(需要該子產品存在)。raw 在 2.4 以及 2.6 早期的核心中不存在，除非打了 patch，目前的系統應該都有支援:

$ sudo iptables -A FORWARD -m state --state UNTRACKED -j ACCEPT

$ sudo iptables -t raw -A PREROUTING -p tcp -m multiport --dport 80,81,82 -j NOTRACK

$ sudo iptables -t raw -A PREROUTING -p tcp -m multiport --sport 80,81,82 -j NOTRACK

上面三種方式，最有效的是 1 跟 3，第二種治标不治本。

原文

http://jaseywang.me/2012/08/16/%E8%A7%A3%E5%86%B3-nf_conntrack-table-full-dropping-packet-%E7%9A%84%E5%87%A0%E7%A7%8D%E6%80%9D%E8%B7%AF/

linux源碼庫

http://www.oschina.net/code/explore/pf-kernel/net/netfilter/nf_conntrack_core.c

ref:

http://www.digipedia.pl/usenet/thread/16263/7806/

http://serverfault.com/questions/72366/how-do-i-disable-the-nf-conntrack-kernel-module-in-centos-5-3-without-recompilin

http://wiki.khnet.info/index.php/Conntrack_tuning