apache通路日志 logstash 配置檔案執行個體1

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

<code>日志格式：</code>

<code>LogFormat "%{clientip}i %l %u %t \"%r\" %&gt;s %b \"%{Referer}i\" \"%{User-Agent}i\" \"%{clientip}i.%{cookie}n\"" combined</code>

<code>日志執行個體：</code>

<code>183.60.150.34 - - [23/Jun/2017:17:57:52 +0800] "GET /jump/cps.jsp?projectcode=0085001&amp;cid=A200647189%7c%7c0000&amp;url=http%3a%2f%2fwww.mangocity.com HTTP/1.1" 302 - "http://myhenan.qq.com/t-7947749-1.htm" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 2345Explorer/8.6.1.15524" "183.60.150.34.10.10.130.100.1498211872045986"</code>

<code>logstash配置檔案：</code>

<code>input {  </code>

<code>        </code><code>file {  </code>

<code>                </code><code>type =&gt; "www_access"  </code>

<code>                </code><code>path =&gt; ["/usr/local/elk/elklog/apachelog/log0/www.mangocity.com-access_log","/usr/local/elk/elklog/apachelog/log1/www.mangocity.com-access_log"]  </code>

<code>        </code><code>}</code>

<code>file {</code>

<code>                </code><code>type =&gt; "ro_access"</code>

<code>                </code><code>path =&gt; ["/usr/local/elk/elklog/apachelog/log0/ro.mangocity.com-access_log","/usr/local/elk/elklog/apachelog/log1/ro.mangocity.com-access_log"]</code>

<code>}</code>

<code>filter {</code>

<code>  </code><code>grok {</code>

<code>    </code><code>match =&gt; {</code>

<code>      </code><code>"message" =&gt; '(%{USER:clientip}|%{IPORHOST:clientip}|%{IPORHOST:clientip}, %{IPORHOST}) %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "%{WORD:verb} %{DATA:request} HTTP/%{NUMBER:httpversion}" %{NUMBER:response:int} (?:-|%{NUMBER:bytes:int}) %{QS:referrer} %{QS:agent}'</code>

<code>    </code><code>}</code>

<code>  </code><code>}</code>

<code>  </code><code>date {</code>

<code>    </code><code>match =&gt; [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]</code>

<code>    </code><code>locale =&gt; en</code>

<code>  </code><code>geoip {</code>

<code>    </code><code>source =&gt; "clientip"</code>

<code>  </code><code>useragent {</code>

<code>    </code><code>source =&gt; "agent"</code>

<code>    </code><code>target =&gt; "useragent"</code>

<code>output {</code>

<code>        </code><code>redis {  </code>

<code>                </code><code>host =&gt; "10.10.45.200"  </code>

<code>                </code><code>data_type =&gt; "list"  </code>

<code>                </code><code>key =&gt; "elk_frontend_access:redis"  </code>

<code>                </code><code>port=&gt;"5379"  </code>

<code>        </code><code>}  </code>