长时间代理请求中断如何避免重复处理数据
通过代理运行的长任务中断后,未收到响应不代表目标端未处理。本文说明如何用业务主键或幂等键记录状态,并在恢复前核对目标端,避免重复写入或提交。
长任务通过代理 IP 运行时连接中断,重新执行可能造成重复写入、提交或计费。常见原因是恢复逻辑把"未收到响应"误当成"目标端未执行"。
要避免这一点,先别急着找断点,先回答"这一条到底处理完没有"。把每条数据的处理状态做成可查询的,恢复时按状态决定跳过、重试还是转人工。网络恢复只是继续跑的前提,不是数据完整的证明。
请求中断后,哪些情况可能导致数据被重复处理
重复处理通常来自几种情况:请求已到达目标端但回执丢失,客户端将超时当成失败后再次发送;写入成功后、更新本地完成状态前进程崩溃,恢复时又把数据当成未处理;多个工作进程同时领取同一批数据;或者客户端与中间层分别触发重试。检查点只能说明任务跑到哪里,不能证明这一条是否已经落地。因此,应结合客户端发送记录、目标端查询和业务侧可对账标识判断;证据不足时,将状态标为“结果未知”,不要仅凭客户端日志认定成功或失败。
如何选择业务 ID、幂等键或内容指纹作为去重键
去重键的作用,是让同一条逻辑数据在任何一次重放中都能被认出来。三种常见做法各有前提:
- 业务主键:订单号、任务 ID、URL 加版本号。最可靠,前提是目标端也用同一个键。
- 客户端幂等键:每条逻辑数据生成一次,重试时复用同一个键,不按"第几次尝试"生成。按尝试生成等于没有幂等。
- 内容指纹:对请求体做哈希。适合没有业务主键的场景,但内容一变指纹就变,还存在碰撞可能,只能作辅助。
幂等键只有在目标端认识并按约定去重时才有效;客户端自己记录键,不会让目标端自动去重。HTTP 方法本身的幂等语义见 RFC 9110 第 9.2.2 节;迟到请求与安全重试的设计可参考 AWS Builders’ Library:Making retries safe with idempotent APIs。键的粒度也要与可能重复的操作层级一致:粒度太粗会把不同操作合并,太细又无法识别重放。
用四种处理状态判断任务中断后能否安全重试
四个状态足够覆盖大多数长任务。
- 待处理:尚未发出。
- 处理中:已发出,未收到确定结果。进程崩溃后,这个状态不能自动回到待处理。
- 已完成:收到明确成功,或目标端确认存在。
- 结果未知:处理中超时、连接中断、进程崩溃后无法确认。
关键规则只有一条:处理中和结果未知,都必须先核对目标端,再决定去向,不得直接重置为待处理。恢复时允许的动作也只有三种——跳过(已确认完成)、重试(确认未完成)、转人工(无法确认且重放有副作用风险)。
状态要写到能跨进程重启的位置,并且每次变化都写,而不是任务结束时批量落盘。批量落盘省下的那点开销,往往就是重复处理的来源。
重试前如何核对目标端处理结果和代理会话
切换出口后核对业务状态,可参考切换代理 IP 出口后如何确认请求与业务状态没有回归。代理连接或出口会话变化会影响传输与目标上下文,但业务回执应按稳定业务 ID、请求 ID及原幂等键关联。连接失效后仍可通过服务端状态查询对账,不能根据代理会话是否存活判断回执归属。
查询接口、列表回查、计数和业务日志各适合何时使用
可按接口能力选择以下核对方式:
- 查询接口:按去重键查单条状态,适合恢复前逐条确认。
- 列表回查:按时间窗或分页拉取目标端记录,与本地清单比对,适合没有单条查询的接口。
- 计数对账:目标端总数对比本地已完成数,前提是统计范围、时间窗、软删除、分页与异步落库的口径一致。它只能提示"可能有差异",不能直接推断漏项,也不能定位到哪一条。
- 业务日志:目标端或下游的操作日志,按时间和去重键匹配,通常作为兜底。
目标端写入可能有延迟,刚写完查不到时,应按接口约定等待后再查。查询本身也可能触发限流,批量核对要控制频率。限流后的暂停与恢复思路,可参考采集任务遇到 429 后如何暂停和恢复。
没有查询接口时,如何降低重复处理风险
此时只能降级处理。目标端明确支持并保证该键语义时,才按最小粒度重放、复用同一个键,同时把这条标成"可能重复",任务结束后统一对账。目标端不支持时,客户端带键不会让它自动去重,应保持"结果未知",转人工或等可核实的回执。即便目标端支持,这条路径也只能降低重复概率,不能证明不重复,记录里要写明这一点,不要承诺"绝不重复"。
发现重复数据后,如何对账并处理差异
重复一旦发生,顺序是"先定位、再收敛、最后记录",不要边跑边改。
定位靠对账表,至少记六项:去重键、本地状态、目标端状态、差异类型、处理动作、处理时间。对账频率按任务量定,日终一次通常够用;数据量大、单条影响大时,改成每批一次。
对账结果只有三种,处理方式不同:
| 差异类型 | 表现 | 处理方式 |
|---|---|---|
| 漏处理候选 | 本地有、目标端暂未查到 | 先按接口一致性约定等待并查询权威状态;确认未执行,或服务端仍有覆盖本次意图的有效幂等契约后,才可补跑 |
| 重复处理 | 目标端同一键多条 | 保留一条,其余按业务规则撤销或标记 |
| 状态不一致 | 两边都有但字段不同 | 按业务权威数据源、事件时间和一致性规则裁决;确认目标端记录不是暂态或延迟状态后,再回写本地 |
收敛动作要区分能不能自动做:补跑和回写状态可以自动;撤销、删除、退款这类有外部影响的操作,一律转人工。不要写"发现重复就自动删除"的逻辑,删错一条的代价通常比多留一条高。
补救完成后,把这次的差异类型和处理方式记录下来。如果同一类差异反复出现,说明状态机或键的粒度有问题,要回去改设计,而不是每次都靠对账收尾。
常见问题
代理 IP 重连之后,幂等键应该存在哪里?
与业务数据同一事务写入。分开写会出现"数据落了、键没落",恢复时仍认不出。
任务重跑会覆盖上次结果吗?
不能只按覆盖式或追加式判断。先核对版本冲突、计费、通知等副作用及服务端幂等约定;只有确认重放安全后才重跑。追加写也可能由唯一约束去重,不能一概断言会翻倍。
状态一直停在"处理中",能当失败重跑吗?
不能。处理中与结果未知都要先核对目标端,直接重置为待处理就是重复来源。
两个工作进程同时拿到同一批数据怎么办?
用原子抢占:待处理→处理中必须一步完成。否则两边都以为自己是第一个。
账号与接入问题可查看帮助中心。
