自动化任务重试代理请求前要检查什么
重试代理 IP 请求之前要确认四件事:错误能不能重试、动作重放会不会重复、站点规则允不允许、这次重试会不会把预算用光。四项有一项不确定,就不该自动重试。
自动化任务里,"重试"是最容易被写成默认动作的一步。代理 IP 请求失败就重试,看起来省事,实际上把判断责任推给了下一个失败。
重试一个代理 IP 请求之前至少有四件事要确认:这个错误能不能重试、这个操作重放一次会不会重复、站点规则允不允许、这次重试会不会把预算用光。四项里有一项不确定,就不该自动重试。
自动重试前,先判断错误类型和是否可以重试
连接错误只有在操作幂等时才适合重试
连接超时或连接重置有时可以重试,但应先确认请求是否可能已到达目标端,并确认操作具备幂等性。DNS 解析失败则先排查解析和网络状态,不应一概按同一策略重试。
认证失败和请求参数错误不应自动重试
先识别 401(未认证)或 407(代理认证)由哪一层返回,并检查相应挑战信息。客户端支持的正常认证协商,或接口明确支持的凭据刷新,可在受控预算内处理;相同无效凭据不得循环重试,持续失败应停止并人工核对。HTTP 对 401/407 的定义见 RFC 9110 第 11、15.5.2 与 15.5.8 节。
业务类错误不可重试:400、422 说明请求本身有问题,改参数才有意义。
遇到限流、5xx 或未知错误时分别如何处理
遇到 429,先按服务端给出的等待信息暂停。429 表示给定时间内请求过多(RFC 6585 第 4 节);等待后是否重试,还要确认请求仍符合目标站规则和任务预算,不要按固定间隔反复发送。具体暂停与恢复思路可参考采集任务遇到 429 后如何暂停和恢复。
5xx 可能表示暂时故障,也可能发生在目标端已执行、但响应未能正常返回之后。未确认接口语义前,应先查询处理结果或转人工核对,再决定是否重试。
未知错误一律不自动重试。未知意味着"重放后果不明",这类情况应该停下来记录,而不是交给重试逻辑。
| 错误类型 | 可否自动重试 | 额外条件 | 建议动作 |
|---|---|---|---|
| 连接超时、连接重置 | 可以 | 操作幂等 | 按退避重试,计入预算 |
| 401、407 | 视响应来源和认证流程判断 | 仅限受支持的认证协商或明确允许的凭据刷新 | 识别返回方与挑战;相同无效凭据停止并转人工 |
| 400、422 | 不可以 | — | 停止,修请求 |
| 429 | 暂停后可受控复测 | 等待要求已满足;已核对原操作结果或幂等保护,并确认重试预算 | 确认允许恢复后最多复测一次;无等待依据时先查官方规则或授权方 |
| 5xx(语义未确认时的保守默认) | 暂不自动重试 | 先确认操作是否幂等、目标端是否可能已处理 | 核实接口语义与任务状态后再决定 |
| 未知 | 不可以 | — | 记录并转人工 |
重放代理请求前,先确认重复执行会产生什么结果
判断幂等性,看的是"同样的请求执行两次,结果是否等价",而不是"代码里有没有写重试"。
GET、HEAD 通常用于读取,但仍需遵守目标站频率限制。PUT、DELETE 在协议语义上通常设计为幂等,具体接口仍可能触发审计或覆盖更新,应以接口文档和业务语义为准(HTTP 方法的幂等定义见 RFC 9110 第 9.2.2 节)。
POST 通常不保证幂等。创建订单、提交表单或发起支付前,应先确认目标端是否已处理;支持幂等键时,按接口要求复用同一个键。
判断方法很具体:问一句"如果这个请求其实已经成功了,再发一次会发生什么"。答不上来,就按不可重试处理。
如果目标站支持幂等键(同一键重复提交只生效一次),POST 也能变成可判定的重试:每次尝试带同一个键,重放后查回执,而不是靠"感觉没成功"再发一遍。切换出口后的状态核对,可参考切换代理 IP 出口后如何确认业务状态正常。没有这个条件,宁可停下来查,不要自动重试。
遵守目标站规则,避免对拒绝或限流请求反复重试
有三类重试应直接停止:收到 403、验证码或明确访问限制后继续发送;超过目标站公开频率后仍不断重放;没有次数、时长和并发上限地持续重试。它们的共同问题是继续发送会放大限制、重复执行或资源消耗,而不是解决故障。
判断边界时以目标站公开的规则、接口文档与授权范围为准;拿不到明确说法时,取更保守的那一档。
如何设置重试次数、总时长和并发上限
预算要同时定三个上限:单条请求的次数、一轮任务的总时长、同时在跑的并发。
次数上限决定"最多试几次",时长上限决定"最多耗多久",并发上限决定"失败时会不会一起涌上去"。三者缺一,重试就会在失败时放大流量。
退避的作用是错开重试时间,不是缩短等待。需要加抖动时只往上限方向加,实际间隔不得短于对方要求的等待下限。
预算用尽后的动作要预先定义:标记失败、转人工、还是等下一轮。最常见的问题是预算用尽后悄悄放弃,任务看起来成功了,实际漏了一批。
每次重试都应记录哪些决策和结果
每次重试至少记五项:任务 ID、尝试序号、错误码、决策(重试/停止/转人工)、结果。缺了"决策"这一项,事后只能看到一堆失败,看不出当时为什么继续。
记录还要能回答一个问题:这一轮的重试,是程序自己决定的,还是人手工触发的。两者的责任与复盘方式不同。
常见问题
重试次数要不要按接口分开设?
要。读接口与写接口的幂等风险不同,用同一上限会把写接口的风险放大。
429 没给 Retry-After 怎么办?
按接口文档或错误正文找等待依据。都找不到就暂停转人工,别按固定间隔硬撞。
换一个代理 IP 重试,算不算新请求?
在目标站看来通常是新请求,仍可能计入同一账号或同一站点的限额,也可能触发风控。不能用来绕开限制。
只读接口也需要预算吗?
需要。读接口虽幂等,同样会触发频率限制;预算按请求量算,不按风险算。
账号与接入问题可查看帮助中心。
