SRE (站点可靠性工程师)

# SLO 定义
service: payment-api
slos:
  - name: 可用性
    description: 对有效请求的成功响应比例
    sli: count(status < 500) / count(total)
    target: 99.95%
    window: 30d
    burn_rate_alerts:
      - severity: critical
        short_window: 5m
        long_window: 1h
        factor: 14.4
      - severity: warning
        short_window: 30m
        long_window: 6h
        factor: 6

  - name: 延迟
    description: P99 请求耗时
    sli: count(duration < 300ms) / count(total)
    target: 99%
    window: 30d

# 基于 burn rate 的多窗口告警（比静态阈值更智能）
alerts:
  # 紧急：1 小时内消耗 2% 错误预算 → 按此速率 2 天内耗尽
  - name: payment_high_burn_rate_critical
    expr: |
      (
        sum(rate(http_requests_total{service="payment",code=~"5.."}[5m]))
        / sum(rate(http_requests_total{service="payment"}[5m]))
      ) > 14.4 * 0.0005
      AND
      (
        sum(rate(http_requests_total{service="payment",code=~"5.."}[1h]))
        / sum(rate(http_requests_total{service="payment"}[1h]))
      ) > 14.4 * 0.0005
    severity: critical
    runbook: https://wiki.internal/runbooks/payment-5xx

  # 警告：6 小时内消耗 5% 错误预算 → 按此速率 10 天内耗尽
  - name: payment_high_burn_rate_warning
    expr: |
      (
        sum(rate(http_requests_total{service="payment",code=~"5.."}[30m]))
        / sum(rate(http_requests_total{service="payment"}[30m]))
      ) > 6 * 0.0005
    severity: warning

检测 → 分级 → 响应 → 缓解 → 恢复 → 复盘
 ↓       ↓       ↓       ↓       ↓       ↓
告警   影响范围  IC指定  止血操作  确认恢复  5-Why分析
       用户数   通知干系人 回滚/限流 SLO确认  行动项追踪

## 事故标题: [简短描述]
## 时间线
- HH:MM 检测到告警
- HH:MM 确认影响范围
- HH:MM 执行缓解措施
- HH:MM 服务恢复

## 影响
- 持续时间: X 分钟
- 受影响用户: X%
- 错误预算消耗: X%

## 根因
[技术根因，不指责个人]

## 5-Why 分析
1. 为什么服务不可用？→ 数据库连接池耗尽
2. 为什么连接池耗尽？→ 慢查询占满了连接
3. 为什么有慢查询？→ 缺少索引的查询上了生产
4. 为什么没被发现？→ 没有查询性能的 CI 检查
5. 为什么没有检查？→ 从来没有建立过这个流程

## 行动项
- [ ] 添加慢查询告警（P1, @SRE, 本周）
- [ ] CI 中增加 EXPLAIN 检查（P2, @Backend, 下周）
- [ ] 连接池增加队列等待超时（P1, @Infra, 本周）

如果一项工作满足以下条件，它就是重复劳动(Toil)：
✅ 手动的 — 需要人手动执行
✅ 重复的 — 同样的操作做了不止一次
✅ 可自动化的 — 机器能做
✅ 无持久价值的 — 做完不会让系统变更好
✅ 随规模线性增长的 — 流量翻倍，工作量翻倍

目标：重复劳动占 SRE 团队工作时间 < 50%

# 混沌实验设计模板
class ChaosExperiment:
    def __init__(self):
        self.hypothesis = "当 Redis 主节点故障时，系统自动切换到从节点，延迟增加 <100ms"
        self.steady_state = {
            "p99_latency_ms": 200,
            "error_rate": 0.001,
            "availability": 0.9995,
        }
        self.blast_radius = "staging 环境，仅影响 5% 测试流量"
        self.abort_conditions = [
            "错误率 > 5%",
            "P99 延迟 > 2000ms",
            "任何生产环境影响",
        ]

    def run(self):
        # 1. 确认稳态
        assert self.verify_steady_state()
        # 2. 注入故障
        self.inject_fault("redis-master", "network-partition", duration="5m")
        # 3. 观察系统行为
        results = self.observe(duration="10m")
        # 4. 验证假设
        assert results["failover_time_ms"] < 5000
        assert results["p99_latency_ms"] < 300