Splunk基礎

簡介

Splunk是一個功能完備的企業級産品，提供了指令行視窗，web圖形界面接口和其他接口，查詢結果展示，資料查詢，權限控制，分布式管理服務，資料索引，網絡端口監聽，資料警報，檔案監聽等等。

部署結構

一個典型的Splunk分布式部署分為三層：

• 資料導入層
• 索引層
• 搜尋管理層

元件，即 Splunk執行個體	層	描述
轉發器（Forwarder）		轉發器可擷取資料，然後通常會将資料繼續轉發至索引器。
索引器（Indexer）		索引器會對從轉發器組傳入的資料進行索引。響應搜尋頭的搜尋請求。可靠性：索引器群集通過索引複制，實作了資料的多副本，同時便于資料搜尋。
搜尋頭（Search Head）		搜尋頭與使用者互動，将搜尋請求指向一組索引器，并合并結果傳回給使用者。

部署場景

單機模式

• 資料導入
• 合并的索引和搜尋

  

小型企業部署場景

• 資料導入  -- 多個轉發器
• 索引        -- 多個索引器
• 搜尋管理   -- 單個搜尋頭

中大型企業部署場景

• 搜尋管理  -- 搜尋頭叢集。Deployer 将應用分發給搜尋頭群內建員。

高可用性部署

• 索引        -- 多個索引器。引入對等節點，開啟索引複制。

資料管道 -- 資料如何通過 Splunk 部署移動

當資料沿着資料管道移動時，Splunk 元件将資料從其外部原始來源(例如日志檔案和網絡源)轉換為可搜尋事件。資料管道分為：

• 輸入：采集資料
• 分析：事件處理，包括資料的檢查、分析及轉換。
• 索引：将分析後的事件并将其寫入磁盤上的索引中，會同時寫入壓縮的原始資料和相應的索引檔案。
• 搜尋

三個典型處理層和四個資料管道段之間的對應關系如下:

• 資料導入層處理輸入段。
• 索引層處理分析和索引段。
• 搜尋管理層處理搜尋段。

轉發器

類型

• 通用轉發器( universal forwarder  )：僅包含轉發資料所需的元件。
• 重型轉發器( heavy forwarder )：完整的Splunk執行個體，能夠索引、搜尋、更改資料，同時也可以轉發資料。如果需要裝錢分析或更改資料或根據内容控制資料法相，則需要使用重型轉發器。
• 輕型轉發器：已啟用。

場景

資料整合

利用多個轉發器發送資料到單個Splunk索引。

下圖，三個通用轉發器将資料發送到單個索引器。

負載均衡

在負載均衡中，轉發器按照一定到政策發送資料到不同索引器。

下圖，三個通用轉發器，它們執行兩個索引器之間的負載均衡。

路由和篩選

在資料路由中，轉發器會根據事件本身的資料來源、來源類型或模式等标準，将事件路由到特定的主機。轉發器還會過濾并路由事件到特定隊列，或通過路由到空隊列以完全丢棄它們。

下圖，重型轉發器将基于事件模式路由資料到三個索引器。

轉發器和索引器群集

使用轉發器發送資料到索引器群集的對等節點。

下圖，發送資料給索引群集的兩個負載均衡轉發器。

索引器

索引器叢集

索引器群集是一組協同工作的 Splunk節點，提供備援索引和搜尋操作。群集中的節點有以下三種類型:

• 單個主節點，用于管理群集。主節點是一種特殊類型的索引器。
• 多個對等節點，用于處理群集的索引功能、維護資料的多個副本及為其建立索引，以及對資料執行搜尋。
• 一個或多個搜尋頭，用于協調所有對等節點的搜尋。

索引器群集功能會自動從一個對等節點故障轉移到下一個對等節點。這意味着，如果一個或多個對等節點出現故障，可繼續為傳入資料建立索引，且索引資料繼續保持可搜尋狀态。

參考資料

Spliunk中文手冊 Splunk quick reference guide