近期收到朋友贈送的一本書—《深入淺出MySQL》。閑暇之餘,閱讀了部分章節,書中針對故障處理一節,給我印象頗深。書中提煉出的一些方法論,正是我之前在團隊中推廣的方法。其目的是為了将故障應急操作标準化,進而提升處理效率。推而廣之,這其實是一種結構化思維在具體工作中的展現。而這種思想在某具體工作、乃至個人、團隊發展等,均可發揮重要作用。特寫下此文。
一、故障處理流程
1.1 示例:資料庫故障處理
下面是來自網易的一些經驗,整理自《深入淺出MySQL》一書。
1.1.1 事前:故障處理原則
1)溝通第一
在資料庫出現故障時,務必和運維、開發、産品等其他團隊保持高效溝通。DBA在遇到故障時,一定不要忘了溝通的重要性,即使時間緊迫,簡要的溝通往往也能帶來事半功倍的效果。從長遠來看,也有利于培養和其他人、其他團隊之間的合作和信任關系。
2)關注人為
人為故障占有不小的比例。要通過及時溝通并檢視曆史記錄,确認操作是否有誤、要和其他團隊溝通是否有特殊操作。當然,解決人為故障最好的方法還是将資料庫運維自動化、标準化、規範化。
3)快速恢複
在處理故障的時候,要明确的一個思路是要優先恢複服務,確定服務的最大可用性,其他的不一定要優先考慮。
4)三思後行
有些故障處理方式,可能對資料庫造成難以恢複的影響,務必慎重,并盡量做好備份。對于操作本身不熟悉帶來額外的問題,要盡量避免。認真考慮指令可能帶來的後果,避免對系統造成二次傷害。
5)服務分級
平時應當對服務、應用、資料庫做好分級,一旦出現大面積故障,可以按照服務的優先級來恢複核心業務。
1.1.2 事中:故障處理流程
1)故障發現
- OS名額
- 負載
- CPU使用率
- 磁盤空間
- IO使用率
- SWAP使用情況
- DB名額
- 資料庫存活
- 連接配接數
- 慢SQL
- 主從延遲
2)故障定位
- 檢查操作
- 程式釋出
- 線上表變更
- 線上資料修改
- 背景任務、資料統計
- 資料庫參數調整
- 其他誤操作
- 檢查OS
- 系統程序
- CPU
- 記憶體、SWAP
- IO
- 系統日志
- 檢查DB
- 連接配接
- 慢查詢
- 鎖等待
- QPS
- 錯誤日志
1.1.3 事後:故障解決方法
1)慢SQL
- 選擇條件上沒有索引或者索引效率低。
- 有索引,但沒有用到索引,或者選擇了錯誤的索引。
- 過濾條件不強,結果集太大。
2)SQL執行頻率高
- 惡意攻擊
- 緩存失效
- 應用實作邏輯不合理
- 業務量突增
3)鎖沖突
- 大事務
- 熱點問題
4)硬體問題
- RAID卡緩存問題
- 硬體損壞
5)參數不合理
1.2 示例:GP資料庫異常處理(我的經驗)
下面是我在之前機關總結的,針對GP的異常處理流程。圖中的【】部分對應具體的處理步驟(對應腳本或操作文檔)。
從上述兩個示例可以看出,這是一種"統籌式"的工作方式,而非"應急式"的。它強調的是在出現故障後,按照規劃好的原則、步驟進行分析排查,找出核心問題;然後針對既有問題,再按照已有的相關預案進行處理。同時在處理過程中,注意規避風險及溝通協調,以期達到故障的快速解決。
顯然這種方式,代表着一種對工作的前瞻力,防患于未然;避免了那種忙于救火,使工作永遠處于被動之中。上述其實就是一種"結構化思維"的展現。
二、結構化思維
2.1 什麼是"結構化思維"?
- 思考的時候沒有邏輯,大多數時候不知道從哪裡下手。
- 講話時沒有條理,費很多口舌卻很難把事說清楚。
- 處理問題時效率低,東撿西漏,忙得團團轉效果卻不佳。
- 當你面臨上述窘境時,正是可以考慮訓練自己的結構化思維來解決。
結構化思維:是指一個人在面對工作任務或者難題時能從多個側面進行思考,深刻分析導緻問題出現的原因,系統制定行動方案,并采取恰當的手段使工作得以高效率開展,取得高績效。當你這樣做事的時候,你就擁有了結構化思維,這将對你的職場晉升起到巨大的幫助作用。思維決定發展,思維層面不同導緻結果不同。簡言之,結構化思維指從整體思考到局部,是一種層級分明的思考模式。就是借用一些思維架構來輔助思考,将碎片化的資訊進行系統化的思考和處理,進而擴大思維的層次,更全面地思考。
2.2 結構化思維方法
如何進行結構化思考呢,也是有方法論的,總的來說是有兩個步驟,首先是“建立中心”,然後再進行“分解”。
1)建立中心
建立中心也就是要定義清楚要解決的問題,要明确目标,也是一種以終為始的思考方式。也就是說,首先要搞清楚why,然後再進行how。建立中心有兩種方式:自上而下、自下而上。後面我們會詳細說明。
建立中心通常不會是一次成型的,随着對問題了解的變化,對中心的抽象也會進行相應的調整。不同的抽象層次其面對的問題寬度是不一樣的。具體要用哪個層次的抽象作為“中心”,要視具體情況而定。抽象層次越高,要解決的問題域就越寬,外延越大。比如面對“系統 bug 多”的問題,向上抽象是“提升代碼品質”,向下抽象是“加強測試”,都可以作為中心,選擇哪個為中心取決于你目前要解決的問題是什麼。
2)結構化分解
使用結構化的思維對問題進行分解。分解政策就是常見的四種邏輯順序,即演繹順序、時間順序、空間順序和程度順序。
3)邏輯順序
下面配圖為XMind工具的對應圖例。
- 演繹(因果)順序
“大前提、小前提、結論”的演繹推理方式就是演繹順序。比如,經典三段論:所有人都要死,蘇格拉底是人,蘇格拉底要死。
- 時間(步驟)順序
“第一、第二、第三”,“首先、然後、再者”等,很多的時間順序同時也是因果順序。
- 空間(結構)順序
“前端、後端、資料”,“波士頓、紐約、華盛頓”,化整為零(将整體分解為部分)等都是空間順序。在做空間分解的時候,要注意滿足 MECE(Mutually Exclusive Collectively Exhaustive,互相獨立,完全窮盡)原則。
- 程度(重要性)順序
比如“最重要、次重要、不重要”等。
2.3 "自上而下"的思考
自上而下的思考,适用于問題比較明确的情況,我們隻需要找到問題的核心要素即可,然後進行展開即可。這就是一個非常典型的總分結構化思維的思考方式。先總結,後發散。用這種方式思考,有助于形成、整理和構造思維導圖,進而促進大腦自然有序地思考,進而讓你更全面地去分析一個問題。下面介紹幾種常見的自上而下的思考模型:
1)STAR法則
- Situation 背景
- Target 目标
- Action 行動
- Result 結果
2)SWOT 分析方法
- Strengths 優勢
- Weaknesses 劣勢
- Opportunities 機會
- Threats威脅
3)問題解決
分析問題>找到原因>設定目标>提出解決方案>實施
2.4 "自下而上"的思考
對于問題不夠明确的情況,需要對多種雜亂的内容,進行分類、剪枝、歸納彙總成一個中心。根據《金字塔原理》“任何事情都可以歸納出中心論點,中心論點可由三至七個論據支撐,每個一級論點可以衍生出其他的分論點。”如此發散開來,就可以形成以下的金字塔結構思考方式。
但是在還沒有掌握這種結構化思維方式時,直接用這種思考方式是有一定難度的。這時候我們就可以采用自下而上的思考方式去找結構。
- 盡可能列出所有思考的要點
- 找出關系,進行分類
- 總結概括要點,提煉觀點
- 觀點補充,完善思路
總結下就是:先發散,後總結。用這種方式思考,不僅更容易找到邏輯結構,也更容易培養你的結構化思維。舉個例子,當我們面臨職業發展選擇時,如何總結提煉出自己的決策。
2.5 增強 — 擴充性思維
擴充性思維的核心目标是提升思維的廣度,可以有三種擴充方向:
- 舉一反三:解決同類型的N個問題
這種思維方式的特征是舉一反三,觸類旁通,相當于産生批處理的效果,可以大大提升解決問題的效率,避免重複處理。
- 尋求可能性:拓展解決問題的不同手段
拓展思維常見的手段是:是否能夠換更多的了解方式,或者更多的解法。
- 深挖根源:挖掘問題深層次原因
這種思維方式是要突破現有問題的表面化解決,而是需要深挖原因,探究根本問題。隻有這樣才能從根本上解決問題。
2.6 示例:我的一次故障經曆(深挖原因)
寫在最後
思維方式有很多種,你可以在實際工作中,嘗試使用上面的方法。堅持一段時間後,你會發現想問題時更有邏輯性,說話也更有條理更有說服力。不僅如此,你還可以用這種結構化的思維,去搭建和構造自己的思維體系。
作者:韓鋒
首發于作者個人公号《韓鋒頻道》。
來源:宜信技術學院