天天看点

#记一次排查线上问题的经过

记一次排查线上问题的经过
           

好久好久,没写csdn了,五个月了吧,这几个月在公司做了两次分享,分享的内容相对简单,但是准备分享的过程是一个对我来说很重要的过程,在准备中学到了很多,各种查资料csdn、微信文章,写屁屁踢等等等等。

本次线上后台出现了问题:

运营说线上的一个后台数据不正确,订单数据是6月份的,现在是9月份了

定位问题:

查看数据库,发现这些数据是在A库,实际应该耀查的是B库(有次上线后把这个表从A库移动到了B库)

排查生产环境nacos配置无问题

排查发现skywalking不记录某个时间点后的日志

排查发现腾讯云日志启动正常,没错误

跟运维沟通后,

把测试环境的jenkins构建的分支使用master,无问题

把jenkins预发布环境的构建一下,发现数据不正常。

排查预发布环境nacos配置,无问题

最后,请教领导,

最后最后,领导发现使用外网访问这个后台,数据是正常的,使用公司网线、wifi访问数据不正常

进而预发布环境是最近才开始使用的

运维说是根据出口ip做的

进而领导发现预发布的jenkins构建漏了两行代码

是跟k8s有关的

综上

整个过程由于运维不在,领导的一些权限不在手上等等各种原因,耗时良久啊。

还好是内部系统

#记一次排查线上问题的经过

Opportunities are reserved for those who are prepared!