天天看點

日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

一、日志審計服務簡介

阿裡雲日志服務

作為行業領先的日志大資料解決方案,一站式提供資料收集、清洗、分析、可視化和告警功能。

日志審計服務

功能了提供多賬戶下跨多雲産品審計相關日志進行實時自動化中心化采集,并提供審計需要的存儲、查詢、資訊彙總支援。覆寫Actiontrail、OSS、SLB、RDS、DRDS、API網關等基礎産品并支援自由對接到其他生态産品或自有SOC中心。

日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

日志審計服務具有如下共功能和優勢:

  • 實時中心化采集
    • 多雲産品支援: 支援阿裡雲SLB、OSS、RDS等多個主流産品。
    • 一鍵式采集:一次性配置采集政策後,即可完成跨賬号自動實時發現新資源并實時采集日志。
    • 跨賬号:支援将多個主賬号下的日志采集到一個主賬号下的Project中。
    • 中心化存儲:将采集到的日志存儲到某個地域的中心化Project中,友善後續查詢分析、可視化與告警、二次開發等。
  • 支援豐富的審計功能
    • 繼承日志服務現有的所有功能,包括查詢分析、加工、報表、告警、導出等功能,支援審計場景下中心化的審計等需求。
    • 生态開放對接:與開源軟體、阿裡雲大資料産品、第三方SOC軟體無縫對接,充分發揮資料價值。

二、日志審計一鍵采集功能介紹

一鍵進行雲産品日志采集是日志審計服務的一大特色,而其中的一個重點功能就是資源的實時自動發現。使用者隻需要在日志審計控制台上,針對具體的雲産品開通日志審計功能即可,不需要逐個對雲資源進行日志采集的開關控制。下面我們以阿裡雲關系型資料庫RDS為例舉例說明,如何便捷的進行日志采集。

1、傳統的日志采集功能

需要使用者按照

RDS SQL執行日志

采集指南,逐個對要采集的RDS執行個體開啟日志采集功能。如果有RDS執行個體擴縮容的場景,也需要使用者手動操作。

缺點:

  • 不支援跨賬号、跨地域。
  • 不支援執行個體發現。
  • 不支援中心化。

如下圖,某客戶有賬号1、賬号2,如果需要采集所有RDS日志,需要分别建立多個logstore,且需要手動逐個建立RDS執行個體與logstore的采集關系,維護成本較大。

日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

2、日志審計一鍵采集功能

有了日志審計功能之後,傳統采集的問題就不需要在發愁了。如下圖,隻需要在中心賬号1下面,開通RDS日志審計功能,剩下的事情就放心交給審計服務去做好了,您可以輕松地在logstore-center中檢視到您所擁有的所有賬号下的、所有支援采集地域下的RDS執行個體日志。

有了日志審計一鍵采集功能,可以享受到的便捷服務:

  • 執行個體自動發現,免去了相關運維的工作。
  • 跨賬号采集、中心化存儲,為資料分析提供了更多的想象空間。
日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

之前日志審計存在了一點小的缺陷,就是使用者開通某個雲産品的日志審計之後,會自動實作所有執行個體的采集,但是這也造成了會造成把使用者不需要關心的執行個體日志也一起采集到了中心logstore。于是,我們推出了

日志審計采集政策

功能,可對賬号、地域或執行個體等因素進行限制,達到精細化的日志采集目的。

三、日志審計采集政策

1、采集政策應用場景

日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

某客戶因業務需求,線上的RDS執行個體都部署在北京或上海機房,其他地域的RDS執行個體主要是用來進行開發測試。另外,上海、北京也會有一些打有level=low标簽的執行個體,用于存儲一些非線上的業務資料。

是以,該客戶從線上業務出發,隻需要采集位于上海、北京,且沒有打level=low标簽的RDS執行個體。而日志審計的采集政策功能,正好滿足了客戶這方面的需求。

## 采集文法
keep region == ("cn-shanghai" or "cn-hangzhou")               # 隻采集北京、上海的執行個體
drop tag.level == "low"               # 如果執行個體被打了level=low标簽,則丢棄。
accept "*"                            # 接受所有符合目前條件的執行個體           

2. 采集政策文法簡介

采集政策文法一般情況下由如下部分組成,并以keep region == ("cn-shanghai" or "cn-beijing")加以說明:

參數 說明 舉例
動作 通過您配置的采集政策,執行相應的動作,詳情請參見 政策文法 keep
屬性 選擇采集對象的屬性,不同采集對象對應的屬性不同,詳情請參見 産品支援 region
操作符 選擇操作符,例如選擇完全比對,則對應的操作符為==,詳情請參見 ==
屬性取值 輸入屬性的值,支援配置多個值。 ("cn-shanghai" or "cn-beijing")

  • 保持(keep):當采集對象滿足采集政策時繼續執行下一條政策,由後續政策判斷是否采集日志。不滿足則拒絕采集日志,不再做後續政策判斷。
  • 拒絕(drop):當采集對象滿足采集政策時拒絕采集日志,不再執行下一條政策。不滿足則繼續執行下一條政策,由後續政策判斷是否采集。
  • 接受(accept):當采集對象滿足采集政策時采集日志,不再執行下一條政策。不滿足則繼續執行下一條政策,由後續政策判斷是否采集。

采集對象的屬性及取值

目前支援RDS、DRDS、SLB三種阿裡雲産品。

雲産品 采集對象
RDS RDS執行個體 賬号:account.id RDS執行個體所屬的阿裡雲賬号ID。
地域:region RDS執行個體所屬的地域,例如:cn-shanghai。
執行個體ID:instance.id RDS執行個體ID。
執行個體名:instance.name RDS執行個體名。
DB類型:instance.db_type DB類型,可取值為mysql、pgsql、mssql。
DB版本号:instance.db_version DB版本号,例如:8.0。
标簽:tag.* 使用者自定義的标簽名。将tag.中的星号()替換為您自定義的标簽名。
DRDS DRDS執行個體 DRDS執行個體所屬的阿裡雲賬号ID。
DRDS執行個體所屬的地域,例如:cn-shanghai。
DRDS執行個體ID。
DRDS執行個體名。
SLB SLB執行個體 SLB執行個體所屬的阿裡雲賬号ID。
SLB執行個體所屬的地域,例如:cn-shanghai。
SLB執行個體ID。
SLB執行個體名。
網絡類型:instance.network_type SLB網絡類型,可取值為classic、vpc。
VPC ID:instance.vpc_id SLB的VPC ID。

比對模式

日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策
日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策
日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

3. 采集政策處理流程

日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

4. 操作流程說明

日志服務支援通過簡易編輯模式或進階編輯模式配置采集政策。簡易編輯模式配置簡單,當簡易編輯模式無法滿足需求時,可開啟進階編輯模式,靈活配置複雜的采集政策。

4.1 簡易編輯模式

  • 在待添加政策區域,配置如下參數,并單擊添加政策
    日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策
  • 在已添加政策區域,确認政策配置結果。您也可以修改已添加的采集政策以及調整采集政策的順序。
    • 單擊目标采集政策右側的編輯,修改已添加的采集政策。
    • 單擊目标采集政策右側的上下箭頭,調整采集政策的順序。
      日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

4.2 進階編輯模式

開啟進階編輯模式。在規則文本框中,配置采集政策,并單擊确定。

日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策

5. 常見案例

  • 采集特定區域的執行個體日志例如:隻采集中國區域的執行個體日志,采集政策如下所示。
# only scan cn region
keep region == "cn-*"
# accept by default
accept "*"           
  • 采集特定标簽的執行個體日志例如:隻采集所有标簽打上type值是production(大小寫不敏感)的執行個體日志,采集政策如下所示。
# only scan "production" instances
keep tag.type ~= "(?i)^production$"
# accept by default
accept "*"           
  • 複雜場景例如:隻采集RDS MySQL執行個體日志,但是如果标簽打上level: high的執行個體,無論資料庫類型是MySQL、SQL Server或PostgreSQL,都采集,采集政策如下所示。
# accept all high level instances
accept tag.level == "high"
# only scan mysql
keep instance.db_type == "mysql"
# accept by default
accept "*"           
日志審計精細化采集政策一、日志審計服務簡介二、日志審計一鍵采集功能介紹三、日志審計采集政策