幂等设计

去年双十一大促前夜，我们一个跑了三年的订单对账批处理任务突然卡在"执行中"状态超过 6 小时。运维同学第一反应是重启调度器，结果任务重新触发，重复生成了 1.2…

凌晨两点，我被一条值班告警叫醒：某客户成功系统在到期日前一晚批量发出两万三千条续约提醒，其中四千多条是同一个客户重复收到的，还有三百多条发给了三个月前已经离职的对接人。第二天上午，…

去年双十一大促前夜，我们有个订单对账任务在凌晨 2 点 17 分挂了。值班同学的第一反应很自然：打开调度平台，找到那个失败实例，点"重跑"。三分钟后任务变成绿色…

凌晨两点十七分，我被值班同学的电话叫醒：订单履约任务从 00:40 开始批量失败，积压了 12,000 多条待履约指令。我的第一反应和绝大多数研发一样，「重跑一下就好了」。四十分钟…

凌晨两点十七分，我被电话叫醒。结算批任务在跑到第 42 万条记录时中断，上游对账文件已经生成，下游通知队列里堆着 6 万多条待发消息。值班同学的第一反应是"把任务重跑一遍…

“我们每周大约有 1200 条发版流转任务在执行，其中 3.8% 会进入非终态，不是失败，是卡住。”这是我在 2022 年一次内部复盘里写下的第一句话。当时团队里几乎所有人都认为“…