誤删了公司資料庫,但我還是活下來了
上周我與同僚們進行了一次關于職業生涯中搞砸了一些事情的簡短談話。這确實會淪為他人笑柄,卻更給我們帶來了珍貴的教訓。重要的是,我們應該分享那些曾經的錯誤,這樣其他人就可以從其中學習。下文是最近在我身上發生的例子。
為什麼有如此多誤删生産資料庫的事情發生?(想了解更多趣事幹貨可以關注公衆賬号馬哥Linux運維哦)
幾個月前,Reddit上有一篇文章,講了一名初級開發人員在上班的第一天就删除了生産資料庫的事。我們都很憷于讀到這類犯了這類無法讓人忘卻的大錯誤的文章。因為我們離這些也不遠,而大多數人都是“死裡逃生”。
在我的第一份工作中,一位進階資料庫管理者在上班第一天就誤删了生産資料庫。這類故事情節比比皆是。這個團隊從一個星期的備份中恢複了他導緻的錯誤,并讓他繼續工作。十年後,他們依然将其作為笑點。
今年早些時候,我被派去檢查一個客戶的生産資料上的問題。他們進行了小範圍的非公開測試,結果網站上沒有顯示任何内容。我想查查是否是存在漏洞或是易損性問題導緻了這一結果。
我通過了生産機器上的簽名環節,然後打開了資料庫。内容庫(articles table)内空空如也。這證明了我們在網站上看到的情況是真實的。
使用者庫(users table)内依然有使用者資料存在。真讓人奇怪。是以情況是我們丢失了所有内容,但是至少測試使用者的資訊依然存在。我們給出的解釋是這是一個測試行為,是以這些事情有可能發生。
接下來的幾分鐘一片混亂。我不記得自己做了什麼。我不認為自己笨到在控制台上執行了删除使用者庫的操作。但是事實就是這麼發生了,現在背景既沒有了内容庫,也沒有了使用者庫。這真實下了我一大跳。
然後我的大腦就開始轉動起來思考如何解決這個問題。我真的把使用者庫給删掉了嗎?是的。我們存備份了嗎?沒有。我們應該如何告訴客戶這個事情?不知道。
我猶記得自己走向項目經理那裡,坐在她身邊,向她解釋了發生了什麼事情時的場面。因為我們的内容庫中沒有内容,這就是為什麼網站上空空如也的原因。同時,我還删除了使用者庫。他們現在需要重新邀請所有的使用者,如果他們能夠弄清楚誰是誰。
我回到了自己的辦公室,垂頭喪氣。
不過,我還是沒有接受這件事。我們一開始是如何失去這些東西的?
我開始不停地往深處想。半是為了否認這件事,半是想要挽回面子。不久,我注意到了一些重要事情。
在伺服器上還存在着其他5個資料庫。其中一個資料庫的名字和我剛才看到的資料庫名字很像。
當我檢視這個資料庫的時候,發現所有的内容都在裡面。使用者庫也安然無恙。結果證明,是一個配置變動無意中改變了生産設定,使站點指向了一個全新的資料庫。我之前所看的使用者資訊是什麼?種子資料。
真是謝天謝地。早上的神經緊張和胃酸讓我覺得很不舒服,但是我們“恢複”了資料,并在壞消息傳開之前找到了真正的問題。
從這件事中可以吸取很多教訓。其中一點是關于最簡單原則:我們總是在做的備份,也許是開發人員最有成效的挽救藥。
繼續前進但不要沖得過前(想了解更多趣事幹貨可以關注公衆賬号馬哥Linux運維哦)
我最近犯的一個錯誤不太引人注目。事實上,這是一個經由小錯誤所引起的小錯誤最終導緻了一場混亂的故事。
我們面臨的是一個時間緊迫的項目。
在初次會議上,我們團隊一緻認為完成它會花費比預定時間多一倍的時間。這個最後期限一開始就對我們産生影響,讓我寬松地通過了身份認證部分而留有更多時間去關注客戶所實際關注的功能設計。
我隻是在一個單一頁面測試了身份驗證測試,但是當時還不了解它們将如何被組合在一起。
把它單列出來是我做的一個錯誤決定。我忽略了一些重要事情:
使用者在登陸之後會從cookie中加載内容,但是這個頁面卻試圖在沒有任何等待的情況下進行加載。根據事件的發生順序,使用者會得到帶來伺服器的反映,說其是未經授權的。
身份驗證也未檢查令牌是否過期。如果使用者不經常通路這個網站。那麼當其再一次通路時,網站需要使用者登出再登入才會運作。
令牌應該基于每個請求進行更新,但是我從未花費時間去了解其發生前後的規則。是以,這又産生了一個時間問題。如果我們同時發送了幾個請求,根據它們傳回的順序,使用者會得到那個在後來的請求中無法使用的令牌。
我們匆匆忙忙地趕着項目,卻仍花費了比規定多一倍的時間。差別之處在于有更多的漏洞,并需要花更多時間去跟蹤并修複這些漏洞。
這使我感到窘迫。之後因為整件事情變得比較糟糕哦而讓我在公衆場合感到羞愧。
我想說的是:在此之後,我花費了時間去學習認證程式。我現在了解了OAuth、JWT、重新整理令牌和到期行為。我仔細研究了其他人所編寫的身份驗證代碼。我能夠在不同的語言和架構中建構身份驗證程式。
将失敗轉化為未來的成功
這是我從那些表現糟糕的事情中所獲得的經驗。如果你願意,那麼幾乎所有好的結果都會由此而來。
如果有人能從自己的錯誤中汲取教訓,那麼他就會比現在更優秀。我試着不去打擊那些第一次犯錯誤的隊友。他們通常都知道自己把事情搞的一團糟。
我也正嘗試不對那些不斷犯同樣錯誤的人施加壓力。他們仍然值得同情。
如果在錯誤中做到這4點,那麼你就會不斷成長:
嘲笑自己。
從中汲取經驗教訓。
改正錯誤。
分享自己的錯誤,讓其他人也有所收獲。
最後,我想講一個關于錯誤價值的轶事。20世紀初,IBM的首席執行官托馬斯·J·沃森曾遇到過一名員工,這名員工的一系列糟糕決策讓公司付出了巨大代價。當沃森被問到是否會解雇這名員工時,他回應道:
“不,我剛在他身上花了60萬美元的教育訓練費。為什麼要讓别人白白撿去這個便宜?”
(完)
---------------------
作者:高薪實戰愛好者
來源:CSDN
原文:
https://blog.csdn.net/weixin_43507410/article/details/83411455版權聲明:本文為部落客原創文章,轉載請附上博文連結!