【 3-11 】
故障保障
知识点说明:故障恢复和故障根因处理是两件事。重启可以让系统暂时恢复,但如果没有记录现象、分析原因并采取针对性措施,同一个故障可能重复发生。根因分析的价值,是把反复救火变成一次真正解决问题。
一出错就重启,为什么还复发?
新疆尼娅面包厂的生产查询系统最近一出错,管理员就重启服务。每次重启后都能恢复,因此大家一直这样处理。直到同样的问题在一个月内出现了3次复发,周厂长才发现员工已经花了不少时间等待。
张婷把3次故障时间、系统状态和操作记录归集到一起。单看每一次,都像偶发卡顿;放在一起却发现,故障都出现在每天大量订单汇总之后,而且磁盘临时空间都会迅速增加。
过去的处理只完成了“恢复”,没有继续追“为什么会停”。重启清空了部分临时状态,所以表面恢复正常,同时也把继续观察根因的线索一起忽略了。
张婷抓住“故障记录”这个关键链接点。以后先记录时间、现象和关键状态,再恢复服务;随后根据连续三次记录追到产生大量临时文件的处理任务,调整清理方式并设置空间预警。
系统不再靠一次次重启维持运行。3次复发留下的共同特征被连接起来以后,反复占用员工和生产等待时间的根因被真正处理掉。
01 · 重点摘要
重点和必记
重点
- 流程:确认现象、界定范围、保留证据、分析原因、实施处置、验证恢复、记录复盘。
- 分析应结合近期变更、资源、依赖服务、网络和产品日志。
- 常见故障包括管理页面不可访问、日志延迟、脱敏未生效、审计不完整、备份失败和资源过高。
- 记录包括巡检、告警处置、故障、变更和权限申请单。
必记
- 故障处置前优先保存日志、配置快照、错误信息和监控曲线。
- 恢复验证需同时检查业务、安全功能、日志和告警。