记一次排查线上问题的经过
好久好久,没写csdn了,五个月了吧,这几个月在公司做了两次分享,分享的内容相对简单,但是准备分享的过程是一个对我来说很重要的过程,在准备中学到了很多,各种查资料csdn、微信文章,写屁屁踢等等等等。
本次线上后台出现了问题:
运营说线上的一个后台数据不正确,订单数据是6月份的,现在是9月份了
定位问题:
查看数据库,发现这些数据是在A库,实际应该耀查的是B库(有次上线后把这个表从A库移动到了B库)
排查生产环境nacos配置无问题
排查发现skywalking不记录某个时间点后的日志
排查发现腾讯云日志启动正常,没错误
跟运维沟通后,
把测试环境的jenkins构建的分支使用master,无问题
把jenkins预发布环境的构建一下,发现数据不正常。
排查预发布环境nacos配置,无问题
最后,请教领导,
最后最后,领导发现使用外网访问这个后台,数据是正常的,使用公司网线、wifi访问数据不正常
进而预发布环境是最近才开始使用的
运维说是根据出口ip做的
进而领导发现预发布的jenkins构建漏了两行代码
是跟k8s有关的
综上
整个过程由于运维不在,领导的一些权限不在手上等等各种原因,耗时良久啊。
还好是内部系统
Opportunities are reserved for those who are prepared!