断点续跑

去年 11 月的一个凌晨，我接到某制造企业客户 IT 负责人的电话：夜里 2 点开始的库存同步任务在 3 点 17 分报错中断，值班工程师判断是网络抖动，直接在调度平台点了&quo…

去年冬天，我参与过一次线上事故复盘。一家做会员权益的SaaS公司，批量发券任务在跑到第 37% 时因为下游接口超时中断，运维同学判断"任务失败就重跑"，直接点了…

任务执行恢复全流程：实施团队最佳实践与一文讲清 凌晨 1 点 47 分，客户财务共享中心的月度结算批处理任务在第 3 个分片卡住了。我在现场，身边坐着实施顾问、交付工程师和客户方运…

凌晨 1 点 47 分，我接到一个实施同事的电话：客户的核心结算批处理任务跑失败了，而这条任务链下游还挂着 6 个依赖任务、两张对账表和一份第二天早上 8 点要发给财务的结算报表。…

一个年营收 40 亿的制造企业，月末结账前 6 小时，MES 与 ERP 之间的物料对账任务失败。实施团队先花 40 分钟确认不是网络问题，又花 2 小时定位到字段映射被上游改版覆…

去年双十一大促前夜，我们有个订单对账任务在凌晨 2 点 17 分挂了。值班同学的第一反应很自然：打开调度平台，找到那个失败实例，点"重跑"。三分钟后任务变成绿色…

凌晨两点十七分，我被值班同学的电话叫醒：订单履约任务从 00:40 开始批量失败，积压了 12,000 多条待履约指令。我的第一反应和绝大多数研发一样，「重跑一下就好了」。四十分钟…

凌晨两点十七分，我被电话叫醒。结算批任务在跑到第 42 万条记录时中断，上游对账文件已经生成，下游通知队列里堆着 6 万多条待发消息。值班同学的第一反应是"把任务重跑一遍…

“我们每周大约有 1200 条发版流转任务在执行，其中 3.8% 会进入非终态，不是失败，是卡住。”这是我在 2022 年一次内部复盘里写下的第一句话。当时团队里几乎所有人都认为“…