記一次排查線上問題的經過
好久好久,沒寫csdn了,五個月了吧,這幾個月在公司做了兩次分享,分享的内容相對簡單,但是準備分享的過程是一個對我來說很重要的過程,在準備中學到了很多,各種查資料csdn、微信文章,寫屁屁踢等等等等。
本次線上背景出現了問題:
營運說線上的一個背景資料不正确,訂單資料是6月份的,現在是9月份了
定位問題:
檢視資料庫,發現這些資料是在A庫,實際應該耀查的是B庫(有次上線後把這個表從A庫移動到了B庫)
排查生産環境nacos配置無問題
排查發現skywalking不記錄某個時間點後的日志
排查發現騰訊雲日志啟動正常,沒錯誤
跟運維溝通後,
把測試環境的jenkins建構的分支使用master,無問題
把jenkins預釋出環境的建構一下,發現資料不正常。
排查預釋出環境nacos配置,無問題
最後,請教上司,
最後最後,上司發現使用外網通路這個背景,資料是正常的,使用公司網線、wifi通路資料不正常
進而預釋出環境是最近才開始使用的
運維說是根據出口ip做的
進而上司發現預釋出的jenkins建構漏了兩行代碼
是跟k8s有關的
綜上
整個過程由于運維不在,上司的一些權限不在手上等等各種原因,耗時良久啊。
還好是内部系統
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIyZuBnL3QTMkVGM3QjZ2IGM3MDZ4M2M2QjY1QWZiFDZ2EWY0AzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
Opportunities are reserved for those who are prepared!