【 3-11 】

故障保障

知识点说明:故障恢复和故障根因处理是两件事。重启可以让系统暂时恢复,但如果没有记录现象、分析原因并采取针对性措施,同一个故障可能重复发生。根因分析的价值,是把反复救火变成一次真正解决问题。

故障保障案例配图

一出错就重启,为什么还复发?

新疆尼娅面包厂的生产查询系统最近一出错,管理员就重启服务。每次重启后都能恢复,因此大家一直这样处理。直到同样的问题在一个月内出现了3次复发,周厂长才发现员工已经花了不少时间等待。

张婷把3次故障时间、系统状态和操作记录归集到一起。单看每一次,都像偶发卡顿;放在一起却发现,故障都出现在每天大量订单汇总之后,而且磁盘临时空间都会迅速增加。

过去的处理只完成了“恢复”,没有继续追“为什么会停”。重启清空了部分临时状态,所以表面恢复正常,同时也把继续观察根因的线索一起忽略了。

张婷抓住“故障记录”这个关键链接点。以后先记录时间、现象和关键状态,再恢复服务;随后根据连续三次记录追到产生大量临时文件的处理任务,调整清理方式并设置空间预警。

系统不再靠一次次重启维持运行。3次复发留下的共同特征被连接起来以后,反复占用员工和生产等待时间的根因被真正处理掉。

01 · 重点摘要

重点和必记

重点

  • 流程:确认现象、界定范围、保留证据、分析原因、实施处置、验证恢复、记录复盘。
  • 分析应结合近期变更、资源、依赖服务、网络和产品日志。
  • 常见故障包括管理页面不可访问、日志延迟、脱敏未生效、审计不完整、备份失败和资源过高。
  • 记录包括巡检、告警处置、故障、变更和权限申请单。

必记

  • 故障处置前优先保存日志、配置快照、错误信息和监控曲线。
  • 恢复验证需同时检查业务、安全功能、日志和告警。