深色模式
告警疲劳治理
摘要：当每天几百条告警里只有几条被点开，团队就“聋”了。治理的思路是：度量 → 标记 → 回收 → 闭环，周期性地把无效告警清出通知链。
适用环境
- 已能度量告警量（见上文告警有效性度量）
- 拥有告警规则的修改权限
操作步骤
1. 拉出“零交互”清单
bash
# 过去 30 天触发但从未被认领的规则
amtool alert query --silent # 静默中的
# 配合 Grafana 看 count_over_time 高但工单为 0 的 alertname1
2
3
2
3
2. 三选一处理每条
- 删：纯噪音、无行动项 → 直接移除规则
- 降：改为 Sev4/邮件、拉长
for、抬高阈值 - 修：确实是问题但被静默掩盖 → 修复后保留
3. 建回收看板
promql
# 单规则周触发次数，排序找 Top 噪音
topk(10, sum by (alertname) (count_over_time(ALERTS[7d])))1
2
2
4. 制度化
每周站会花 5 分钟过一遍 Top 噪音清单，责任到人，下周内处理完。
DANGER
不要“一刀切静默”所有噪音——被静默的告警等于看不见，必须用删/降/修替代长期静默。
验证
bash
# 治理前后对比周告警总量
sum(count_over_time(ALERTS[7d])) # 治理后应明显下降且真阳性占比上升1
2
2
常见坑
WARNING
- 治理是持续的，不是一次性活动；不持续就会再次堆积。
- 别因为“以后可能有用”保留告警，没行动项的告警就是噪音。