天天看點

《Splunk智能運維實戰》——1.6 使用通用轉發器收集資料

本節書摘來自華章計算機《splunk智能運維實戰》一書中的第1章,第1.6節,作者 [美]喬史·戴昆(josh diakun),保羅r.約翰遜(paul r. johnson),德萊克·默克(derek mock),譯 宮鑫,康甯,劉法宗 ,更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

如今的it環境既包括辦公室壁櫥内的數台伺服器,也包括多個異地分布式資料中心的數百台終端伺服器。

如果需要收集的資料不在安裝有splunk的伺服器上,可在遠端終端伺服器上安裝splunk通用轉發器(universal forwarder,uf),并用它将資料轉發到splunk以進行索引。

通用轉發器和splunk伺服器類似,具有很多相同的特性,但不包括splunk web,并且也沒捆綁python可執行檔案和庫。此外,通用轉發器不能預處理資料,如執行換行和時間戳提取。

本節将學習配置splunk通用轉發器來将資料轉發到splunk索引器及如何建立索引器來接收資料。

做好準備

要進行本節的操作,需要一個安裝有splunk universal forwarder但尚未進行配置的伺服器,以及一個運作有splunk的伺服器。

要擷取通用轉發器軟體,請前往www.splunk.com/download并注冊賬戶。可将軟體直接下載下傳到伺服器,也可将軟體下載下傳到筆記本電腦或工作站,并通過檔案傳送協定,如sftp,将其上傳至伺服器。

如何操作

按照下列步驟配置splunk轉發器來轉發資料,并配置 splunk 索引器接收資料:

1 . 在安裝有通用轉發器的伺服器上,打開指令提示符視窗(windows使用者)或終端視窗(unix使用者)。

2 . 切換到$splunk_home/bin目錄,$splunk_home是splunk轉發器的安裝目錄。

unix系統中,預設安裝目錄為/opt/splunkforwarder/bin。windows系統中,預設安裝目錄為c:program filessplunkuniversalforwarderbin。

如使用windows系統,應省略下面splunk指令前的“./”。

3 . 打開splunk轉發器,輸入下列指令:

《Splunk智能運維實戰》——1.6 使用通用轉發器收集資料

4 . 接受許可證協定。

5 . 使用下列指令使通用轉發器自動運作;

《Splunk智能運維實戰》——1.6 使用通用轉發器收集資料

6 . 設定索引器,通用轉發器将發送資料到此索引器。将主機值替換為索引器的值,并為通用轉發器替換使用者名和密碼。

《Splunk智能運維實戰》——1.6 使用通用轉發器收集資料

登入轉發器的使用者名和密碼(預設為admin:changeme)是<code>&lt;username&gt;:&lt;password&gt;</code>。

可以用相同的方法添加其他索引器,隻需重複前一步的指令,使用不同的索引器主機或ip。如果照此方法指定了多個接收索引器,splunk将自動為轉發的資料平衡負載。端口9997是預設的splunk tcp端口,不要改變它,除非它因為某種原因不能使用。

在splunk索引器所在的伺服器上:

登入splunk索引器所在的伺服器。從右上角的主啟動器單擊“設定”菜單,并選擇“轉發和接收”連結。

《Splunk智能運維實戰》——1.6 使用通用轉發器收集資料

單擊“配置接收”連結。

《Splunk智能運維實戰》——1.6 使用通用轉發器收集資料

單擊“建立”。

在“監聽此端口”字段中輸入9997。

《Splunk智能運維實戰》——1.6 使用通用轉發器收集資料

單擊“儲存”并重新開機splunk。至此已經安裝并配置了通用轉發器,它會發送資料到splunk伺服器,splunk伺服器也會按照設定接收預設splunk tcp端口9997的資料。

工作原理

設定轉發器将資料傳送到某伺服器實際上是在背景添加新的配置節到inputs.conf檔案中。在splunk伺服器上,inputs.conf檔案會添加一個[splunktcp]節來激活接收。splunk轉發器上的outputs. conf檔案位于$splunk_home/etc/system/local,當設定資料接收時,splunk伺服器上的inputs.conf檔案位于所用應用程式(本例中是啟動器應用程式)的本地目錄中。

使用轉發器收集和轉發資料具有諸多優勢。轉發器預設會與索引器在tcp端口9997上通信,這會開啟一套非常簡單的防火牆規則。轉發器也可以通過配置來對多個索引器上的資料進行負載平衡,增加搜尋速度和可用性。此外,也可配置轉發器,使其在與索引器通信丢失時對接收的資料進行隊列排序。如果索引器接收的資料不是從性能計數器或系統日志流等日志檔案中讀取的,這一點至關重要,因為這樣的資料無法重新讀取。

更多内容

除了本節所介紹的通過splunk的指令行界面配置通用轉發器之外,還有其他方法來快速更新設定,并可自定義splunk提供的許多配置選項。

通過outputs.conf添加接收索引器

可在通用轉發器的outputs.conf配置檔案中添加接收索引器。編輯$splunk_home/etc/system/local/outputs.conf,添加輸入,然後重新開機通用轉發器。下面提供了示例配置,其中指定了兩個接收索引器。[tcpout-server]一節可針對單個接收索引器添加輸出配置。

《Splunk智能運維實戰》——1.6 使用通用轉發器收集資料

如果通用轉發器上的inputs.conf沒有進行任何配置,而outputs.conf至少配置了一個合法的接收索引器,splunk轉發器将隻發送内部日志資料到索引器。是以,轉發器通過正确配置可以被splunk索引器檢測到,但不一定會發送任何真實資料。

繼續閱讀