当您将业务系统部署到阿里云ECS后,阿里云保证ECS计算服务的高可用。在极少情况下,比如探测到ECS实例所在的硬件发生故障,会产生有计划的维护事件并通知您。
深入了解系统事件,请参考:
<a href="https://help.aliyun.com/document_detail/66574.html">实例系统事件</a>
<a href="https://yq.aliyun.com/articles/544935">让运维更高效:关于ECS系统事件</a>
为了业务的平稳运行,您需要监控ECS系统事件并及时合理地应对系统事件。
相对于收到通知后登陆ECS控制台人工处理系统事件,通过程序自动化监控和处理系统事件,能够提高您的运维效率,消除遗漏或出错的可能性,让您的运维人员不用再为半夜的故障通知而烦恼。如果您保有较多的ECS实例,自动化程序的优点将会更加突出。
ECS为您提供了两个OpenAPI来监控实例的健康状态和系统事件。
ECS实例全状态信息包括:
实例的生命周期状态,比如实例处于Running还是Stopped状态
实例的健康状态,比如您的实例处于Ok还是Warning状态
处于待执行状态(Scheduled)的所有系统事件
这个OpenAPI关注实例的当前状态,它不会返回已经完结的历史事件。对于事前运维来说,我们只需要关注Scheduled状态的事件。事件处于Scheduled状态意味着现在仍处在用户操作窗口期。在事件的计划执行时间NotBefore之前,我们可以通过程序处理来避免事件执行。
首先,我们调用DescribeInstancesFullStatus OpenAPI来查询当前是否存在待执行的SystemMaintenance.Reboot事件。
Tip:主动运维系统事件会留出足够长的用户操作窗口期,一般以天为单位。所以并不需要频繁的去轮询待执行的系统事件。未来我们将会提供基于消息队列的系统事件消费接口。
如果发现存在SystemMaintenance.Reboot系统事件,您应该根据实例上运行的业务类型来决定是否需要自行处理。
Tip:即使由ECS系统执行重启,对您的重要数据进行提前备份也是一个好主意。
如果实例重启对业务有影响,你可能需要选择一个NotBefore之前的更合适的业务低谷时间点。您需要设定一个定时任务,在这个时间点执行重启操作。
重启成功完成后,系统事件将在短时间内变为Avoided状态。
您的自动化处理程序需要妥善处理各种异常情况,保证定时重启的及时性和稳定性。尤其注意的是,在事件状态变化前不要重复处理,以避免不必要的重启。
查询指定ECS实例的系统事件,默认查询已经处于非活跃状态的历史事件。如果指定全部的事件状态,可以查询包含活跃事件在内的所有事件。
此API默认只查询历史事件,它的用途是对实例的历史事件进行分析、复盘,追溯问题原因。某些事件类型比如SystemFailure.Reboot发生时,不一定会留出用户操作窗口期。比如非预期的紧急故障发生后,阿里云立刻进行了恢复并重启了您的实例。此类事件可以在历史事件中查询到。
使用DescribeInstancesFullStatus来查询实例状态和Scheduled状态的系统事件
使用DescribeInstanceHistoryEvents对历史事件进行复盘。如果指定系统事件状态,也可以查询未结束的系统事件(Scheduled和Executing状态)。
使用自动化程序对Scheduled状态的系统事件进行处理
如果只需要查询系统事件,推荐使用DescribeInstanceHistoryEvents接口,性能更好。
未来我们将会发布更多类型的ECS实例和存储相关系统事件,覆盖更多运维场景,敬请期待!
完整的示例代码如下