定时任务运行期间代理连接失效怎么办
定时任务运行中代理连接中断时,应先确认任务阶段和下游处理结果,再判断暂停、放弃本轮或人工核对,避免重复写入。
定时任务常在无人值守时运行。代理 IP 连接中断后,进程和队列可能仍在运行,而部分请求也可能已经到达下游,只是客户端尚未收到回执。
先判断本轮是否可以安全结束,再决定暂停队列、放弃本轮或转人工核对。若未确认下游是否已处理便直接重跑,可能造成重复写入。
代理 IP 连接中断后,先确认定时任务执行到哪一步
定时任务通常会经过哪四个执行阶段
一轮任务通常经过取任务、取数据、处理中、写回或上报四个阶段。判断连接中断的影响,不能只看进程是否还在运行,而要看中断发生在哪一步。如果停在取任务阶段,先确认领取是否带有消费、占用或确认语义,以及是否有租约、原执行隔离和幂等保护;否则先查调度器状态,再决定能否恢复。消息队列的租约与可见性超时是一种实现,具体可参考 AWS SQS 可见性超时说明。迟到请求与安全重试可参考 AWS Builders’ Library 幂等 API。
如果停在取数据阶段,也要确认读取没有改变任务状态或触发下游动作,原执行已停止或隔离,且租约与幂等保护有效;满足这些条件后才从已确认检查点恢复。写回或上报结果未知时先对账,不能只按阶段名称重跑。处理中或写回阶段则要格外谨慎:请求可能已经到达下游,只是回执尚未返回,此时重跑就可能变成再次执行。
如何通过日志和回执定位中断阶段
判断阶段的办法是看任务自己的日志与下游回执,而不是看进程是否还活着。进程活着只说明它没退出,不说明它没卡在半途。
日志里至少看三项:最近一次成功动作的时间、当前批次号或游标、有没有对应的下游回执。三项都停在"取数据"之前,说明还没进入写回;出现了回执但结果不明,按"处理中"处理。如果需要区分连接超时与任务阶段问题,可参考代理连接超时怎么排查。
连接中断后,何时暂停队列、放弃本轮或转人工
先按下表判断本轮状态。暂停调度只阻止新任务触发;正在运行的工作进程还需等待其结束或将其隔离,再处理在途请求。
| 当前情况 | 建议动作 | 恢复前确认 |
|---|---|---|
| 尚未发生下游动作,检查点已保存 | 暂停队列 | 原工作进程已停止或隔离,租约状态明确 |
| 本轮结果可丢弃且已确认没有写入 | 放弃本轮 | 下游无未决请求,后续任务不会重复消费 |
| 写回、上报或在途请求结果未知 | 暂停自动执行并转人工核对 | 查明下游结果,或确认幂等保护有效 |
若因限流暂停,应遵守对方的等待要求,可参考采集任务遇到 429 后如何暂停和恢复。三种处置取决于下游动作是否已发生及结果能否确认,不取决于故障表面看起来有多严重。
重跑前先核对下游写入、消息和计费是否已发生
以下为示例记录结构,具体系统和处置方式应按实际任务核对。
| 外部系统 | 可能已发生的动作 | 如何确认 | 是否需要补偿 |
|---|---|---|---|
| 下游接口 | 已接收写入 | 按业务 ID 查询或对账 | 视结果 |
| 消息队列 | 已投递消息 | 查队列消费记录与偏移 | 可能需要去重 |
| 通知渠道 | 已发出通知 | 查发送记录 | 通常需要人工说明 |
| 计费系统 | 已扣费或计入用量 | 查账单明细 | 需要 |
核对顺序按"不可逆"排,与上表行序无关:先查计费,再查通知是否已发出,然后看消息是否已被消费,最后才处理可撤回的写入。
核对时注意时间窗:下游写入与查询之间可能有延迟,刚断线就查,可能查不到但实际已写入。留一段观察窗口再下结论。
连接恢复后,应该手动补跑还是等待下一轮
判断依据有三条:这一轮是否幂等、数据是否有时效、下游是否已经消费了部分结果。
幂等且时效宽松,等下一轮即可,不必手动补。非幂等但有时效,人工确认后手工补跑,并记录补跑范围。下游已经消费了一部分,先停止消费、核对偏移,再决定重放还是跳过。
手动触发时要带上"本次是补跑"的标记,方便日志与对账区分。不要用同一个任务名直接再跑一次,否则事后分不清哪次是原始执行。
补跑完成后,把这一轮的结果与原始轮次对比一次,确认没有重复计入。
设置超时、心跳和执行时长,减少无人值守故障
三件事能显著减少这类问题的处理成本。
超时要分层设置:连接超时、读取超时、单条任务超时、整轮超时。如果只设整轮超时,就容易出现"卡在某一条上,整轮拖到天亮"。
分别记录存活心跳、业务进度和监测通道状态。心跳逾期先标记为“状态未知”,可能是阻塞、失联、写心跳失败或进程退出;结合调度器执行 ID、进程退出记录、租约和已提交游标判定。有心跳但无进展,应超过预设阶段时限后再告警,不立即断言卡死。
最大执行时长应设置上限;到点先持久化“结果未知”及当前检查点,并停止领取新任务。超时终止不能假定已撤销下游动作,须核对在途请求和原工作进程状态后再恢复。
常见问题
中断后要不要立即重跑?
不要只根据“取任务”或“取数据”判断。先确认领取或读取没有副作用、原工作进程已停止或隔离,租约与幂等保护有效,再从确认的检查点恢复;写回或上报结果未知时先对账。
进程还在、代理 IP 连接断了,怎么判断?
区分心跳、业务进度和监测通道。心跳逾期先标状态未知,再结合调度器执行 ID、进程退出记录、租约和已提交游标判断;有心跳无进展超过预设阶段时限后告警。
补偿动作能自动做吗?
只有动作可逆、可重复且具备明确幂等语义时,才适合自动补偿。计费、通知等外部动作应先核实结果,再决定是否人工处理。
调度器重试和人工补跑撞在一起怎么办?
先阻止新的调度触发和任务领取,等待或隔离原工作进程,再核对租约及在途请求。用稳定任务 ID 和互斥或幂等保护避免并发处理,并用 attemptID(本次执行编号)区分每次运行。
账号与调度问题见帮助中心。
