随着互联网快速发展，微服务，soa 等服务架构模式正在被大规模的使用，现在分布式系统一般由多个独立的子系统组成，多个子系统通过网络通信互相协作配合完成各个功能。
有很多用例会跨多个子系统才能完成，比较典型的是电子商务网站的下单支付流程，至少会涉及交易系统和支付系统。而且这个过程中会涉及到事务的概念，即保证交易系统和支付系统的数据一致性，此处我们称这种跨系统的事务为分布式事务。
具体一点而言，分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。
什么是 arthas？
arthas 是一款开源在线诊断工具，采用命令行交互模式，支持 web 端在线诊断，同时提供丰富的 tab 自动补全功能，进一步方便进行问题的定位和诊断。这是一款开源一年多 github star 2 万，99% 的阿里研发小哥都在用的 java 终极诊断利器！相对比直接下载使用，我推荐开发者可以试一下通过 ide插件 cloud toolkit 中使用arthas 来实现一键远程诊断功能。
得益于 arthas 强大且丰富的功能，让 arthas 能做的事情超乎想象。下面仅仅列举几项常见的使用情况，更多的使用场景可以在熟悉了 arthas 之后自行探索。
是否有一个全局视角来查看系统的运行状况？
为什么 cpu 又升高了，到底是哪里占用了 cpu ？
运行的多线程有死锁吗？有阻塞吗？
程序运行耗时很长，是哪里耗时比较长呢？如何监测呢？
这个类从哪个 jar 包加载的？为什么会报各种类相关的 exception？
我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
有什么办法可以监控到 jvm 的实时运行状态？
arthas 的命令、功能在其官方文档有详细介绍，下文将介绍一下近期几个使用场景。
场景 1：定位压测时的性能瓶颈
平时服务器请求都很正常。压测时，依赖的服务、数据库也都没有到达瓶颈，但是机器的 cpu 全部飘红，why？
通过 jstack 命令，只能看到某一时刻的堆栈，没有抓到真凶。
thread 查看当前线程信息，查看线程的堆栈。
thread -n 3 -i 10000 可以统计 10 秒内最忙的 3 个线程，并且打印它们的堆栈，很容易发现问题。最终发现的问题比较简单：日志中打印了 location 的信息，包括 类名、方法名和行号。
动态获取代码的方法名、行号等信息，通常是通过 new throwable() -> 打印 throwable 的堆栈 -> 截取堆栈中最顶层的业务代码 -> 拆分字符串获取类、方法、行号等信息, 打印堆栈对性能损耗是比较大的。
场景 2：检测偶发的超时
有段时间，总是碰到几次偶尔的超时，但是看日志都正常，鹰眼的调用链路都完全 ok，没有哪一步数据库操作或者 hsf 调用是特别慢的。
各种监控统计的时间维度的耗时，都十分正常，无法找到那个 rt 的尖刺。
想到了可能是日志的问题，但是没有证据支撑。
trace 命令能监控每一步的耗时，并且可以配合条件表达式，当耗时超过 xx ms 时打印详细日志。
找台机器，输入命令，后面的就是静等了。再次出现 rt 尖刺时，能够捕捉到耗时的分布情况。
通过 arthas 拿到的结果，定位到是日志打印的问题。同步日志改为异步日志后，问题解决。
场景3：debug？那要是动态字节码生成咋办？
之前碰到过一个 json 序列化时输出的数字带不带引号的问题。当时各种 debug、看代码，发现是通过 asm 动态字节码的方式生成的序列化类。到这完全放弃了，debug 已经无法定位问题了。当时通过另外一种方式避免了这种问题。
反过来看这个问题的时候，我们可以通过 arthas 的 jad 命令，反编译动态字节码生成的类，结合 watch 等命令，定位排查问题。
jad——反编译指定已加载类的源码
还可以通过 mc(menory compiler), redefine 命令线上热更新代码，欢迎探索。