天天看點

阿裡雲分布式關系資料庫DRDS - 實時SQL執行日志分析(一)

阿裡雲分布式關系資料庫DRDS - 實時SQL執行日志分析(一)

概述

資料庫是企業業務的資料核心,對資料庫的操作行為尤其是所有SQL執行的行為進行記錄并審計的日志,就顯得尤為重要。但圍繞資料庫的安全問題卻日益嚴重,今年5月份,某快遞公司被暴出

上億條客戶資訊被黑客盜取

,同年8月某酒店集團的

1.3億條使用者以及2.4億條開房記錄洩露

另一方面,資料庫SQL審計日志也提供了性能、執行結果以及歸類等資訊,對于排查錯誤、線上性能優化支援起着關鍵作用。

阿裡雲分布式關系資料庫DRDS的SQL執行日志已經與日志服務打通,提供實時的SQL審計分析功能,并提供内置可深鑽的報表、支援異常報警與生态對接能力等。

阿裡雲分布式關系資料庫DRDS - 實時SQL執行日志分析(一)

什麼是完備的SQL審計資訊?

SQL執行日志包括了對資料庫進行的所有SQL操作,DRDS提供的SQL執行日志通過網絡監聽的方式收集,對實際執行幾乎沒有性能的影響,包括但不限于如下類型的SQL執行以及資訊提取:

  • DDL(Data Definition Language):基于SQL的對資料庫結構定義的SQL,例如CREATE、ALTER

    DROP、TRUNCATE、COMMENT等

  • DML(Data Manipulation Language):SQL操作語句,包括SELECT、INSERT、UPDATE、DELETE等
  • 其他SQL執行,包括任何其他通過SQL執行的控制,例如復原、控制等
  • 失敗的SQL執行也會被記錄
  • 對SQL執行的時間、執行結果、影響的行數等資訊的提取
  • 支援多SQL的事務執行關聯
  • 支援對SQL提取模闆、類型解析
  • 支援曆史執行的導入

關于阿裡雲日志服務

阿裡雲的日志服務(log service)是針對日志類資料的一站式服務,無需開發就能快捷完成海量日志資料的采集、消費、投遞以及查詢分析等功能,提升運維、營運效率。日志服務主要包括 實時采集與消費、資料投遞、查詢與實時分析 等功能,适用于從實時監控到資料倉庫的各種開發、運維、營運與安全場景:

阿裡雲分布式關系資料庫DRDS - 實時SQL執行日志分析(一)

功能優勢

阿裡雲分布式關系資料庫DRDS的實時SQL執行日志有如下優勢:

  • 簡單: 輕松配置 ,即可實時采集SQL執行審計。支援一鍵曆史執行SQL的審計資訊導入。
  • 可靠:對現有資料庫支援無性能影響,資料實時接入,秒級延遲。
  • 資訊充分:除了執行的SQL之外,也自動提供事務歸類、SQL模闆歸類、SQL類型解析、執行時間、執行結果、影響行數等 資訊 ,對資料庫執行狀況、性能、潛在安全問題了如指掌,并可實時挖掘細節。
  • 強大:依托日志服務,提供 實時日志分析 ,并提供開箱機用的 報表中心 ,并提供深鑽能力,且支援定制。
  • 靈活:支援基于特定名額,支援定制準實時監測與報警,確定關鍵業務異常及時響應。可對接 其他生态 如流計算、雲存儲、可視化方案,進一步挖掘資料價值。
  • 成本優勢:支援任意時間的存儲,以便合規、溯源、備案等。 每1000萬條SQL審計日志存儲一個月,每天隻需2毛錢左右

适用客戶

  1. 合規:對SQL審計日志存儲有更長存儲合規需求(例如半年/1年)的大型企業與機構,如金融公司、政府類機構等。
  2. 進階運維:需要對資料庫狀況做實時監測,并對業務上出現的性能、可靠、穩定性等異常問題能夠進行快速排錯的客戶,需要使用日志服務的實時的互動式的統計、查詢分析和報警功能,如網際網路服務、金融等企業。
  3. 安全:需要對資料庫安全進行審計,輔助資料安全防護和事後排查的公司,需要使用日志服務的實時查詢分析功能,如金融、證券、電商、遊戲等公司。
  4. 行為分析:需要對資料庫操作做行為分析,作進一步性能、功能、體驗調優的參考和驗證,除了統計查詢外,也需要對接外部系統做進一步深度分析的公司。

前提條件

  1. 開通日志服務。
  2. 開通DRDS服務并配置資料庫SQL審計即可.

限制

  1. 目前支援的區域:華東1、華東2、華北1、華北2、華南1。其它地區陸續開放中。
  2. 共享執行個體不支援SQL審計與分析功能。
  3. 請勿随意删除或修改日志服務為您預設建立的Project、Logstore、索引和儀表盤設定,日志服務會不定期更新與更新SQL日志審計功能,專屬日志庫的索引與預設報表也會自動更新。

使用場景

1. 實時資料庫通路異常排查與問題分析,事務、SQL模闆類讀寫延時等

阿裡雲分布式關系資料庫DRDS - 實時SQL執行日志分析(一)

2. 安全分析,重要表格、異常SQL類型、異常删除修改、危險SQL攻擊等分析

阿裡雲分布式關系資料庫DRDS - 實時SQL執行日志分析(一)

3. 整體通路監控程度,SQL類型分布失敗情況、運維可靠性名額一目了然

阿裡雲分布式關系資料庫DRDS - 實時SQL執行日志分析(一)

4. 營運分析,活躍資料庫與表格,關鍵資料添加修改删除動向

阿裡雲分布式關系資料庫DRDS - 實時SQL執行日志分析(一)

進一步參考

我們會提供更多最佳實踐,這裡可以進一步參考相關使用者手冊資訊: