发布时间: 2026年11月16日更新时间: 2026年11月16日

采集任务遇到 429,如何暂停和恢复?

采集任务遇到 429 后,先读 Retry-After;缺失时查目标站限流说明并暂停。恢复按停、读、等、探、恢、止六步执行,分档恢复而不是直接回到原参数,同时保存游标与失败队列。

不同网站可能按账号、出口或接口计算请求,窗口和恢复策略也各不相同;固定等几分钟并不能证明限流已经解除。

能给的只有依据:先读响应头,再查站点说明,两者都没有就暂停并走支持渠道。判断顺序不会因为站点不同而改变。代理IP只是让出口不同,限流窗口的长度由目标站决定,所以暂停时还要记下当时用的是哪个出口。

收到 429 后,先看 Retry-After 给出的等待时间

429 响应里如果带 Retry-After,这就是最直接的信号,它有两种写法:一个秒数,表示“再过这么多秒可以重试”;或者一个 HTTP 日期,表示“到这个时间点之后再来”。

两种格式都可能出现,解析时要分开处理。日期格式还要注意时区——按 UTC 解析,再换算成本地时间,否则会差出好几个小时。

读不到这个头,说明站点没有对外说明恢复时间,并不意味着可以立刻重试。

读到值也要检查格式和时效。日期已过或响应头格式无法解析时,不要据此立即恢复;等待时间超出任务窗口,就暂停任务并记录现场,之后按站点文档或支持意见处理。

没有 Retry-After 时,去哪里确认限流窗口

按这个顺序找:站点的 API 文档、帮助中心里关于速率限制的说明、robots 与使用条款中的访问约定、以及错误响应正文里是否写了限额或窗口。

如果这些都找不到,正确的动作是暂停并联系站点支持,而不是靠“试几次看看”来确定时间。对把限流窗口从最后一次请求重新计时的站点,重复请求可能延长限制;具体以站点说明或支持回复为准,不能一概而论。

联系支持时把问题问具体:限流是按 IP、按账号还是按接口计数,窗口多长,有没有提高配额的正规途径。这三问答清楚,比反复试错快得多。

如果需要同时确认站点条款、robots 和采样边界,可先看目标网站规则和合规采样说明。

代理IP采集任务怎样设置退避和重试

退避不要只写“间隔递增”,先把停、读、等、探、恢、止六步固定下来,具体间隔与上限服从目标站规则与任务停止条件;更换代理IP品类不能替代等待。上一步没做完时,不要进入下一步。

1. 停:立即停止该任务的新请求,保存检查点(当前 URL、分页游标、已完成记录、最后一次请求时间)。
2. 读:读响应里的 Retry-After。有值就按该值等待;无值则查目标站公开的限额与访问规则;两者都拿不到时暂停任务并联系站点支持,不自行规定一个固定分钟数。
3. 等:等待期间不发任何自动探测请求。任务自身的超时预算短于服务端等待时长时,直接判定本次任务暂停,不要为了迁就任务超时把等待截短。需要加随机抖动时,只在上限方向加,实际等待不得短于第 2 步得到的下限。
4. 探:等待结束后只发 1 次探测请求,条件与触发 429 的那次保持一致。仍是 429,回到第 1 步并把等待轮次加一。
5. 恢:探测成功不等于可以立刻恢复原参数。连续成功达到预设次数后,按原有并发或频率分档恢复;任何一档再次出现 429,退回上一档或回到第 1 步。
6. 止:达到预设的轮次上限或总时长上限,停止任务并标记“待人工确认”,记录停止原因(轮次、总时长、最后一次响应状态)。

上面的“上限”和“小批量”需要按自己的任务设定,站点不会替你规定。抖动的作用是避免多个任务在同一个时间点集体重试,把限流窗口再次打满;它不能用来抵消服务端给出的等待下限。

退避、失败重试和故障转移的实现细节可参考超时、失败重试和故障转移。

恢复任务前先存好检查点。

下面这张表是恢复时要用的最小集合,具体字段按任务增删;恢复时从检查点继续,并用去重键避免重复处理已完成结果。

  • 检查点:任务位置 | 记录内容:任务 ID、页码或游标
  • 检查点:处理进度 | 记录内容:已完成 URL 或去重键、待处理队列
  • 检查点:失败现场 | 记录内容:失败 URL、状态码、关键响应头、发生时间
  • 检查点:恢复信息 | 记录内容:已暂停时长、重试次数、出口脱敏标识

再次请求前,怎样确认限流已经缓解

恢复不是“等到了就全量跑”,而是用小批量验证三件事:响应是否回到该接口预期的成功状态、响应时间是否回到任务基线附近、有没有出现验证码或降级页面。

按任务本身设定观察窗口,并从保存的检查点继续。再次出现 429 或验证码时暂停任务、记录现场,不要继续加量。

状态码、响应时间和验证码的复测方法可对照代理 IP 可用率、延迟和稳定性怎么测试。

429 后哪些操作会让限流持续更久

第一,不要在没搞清是频率还是出口段限流之前换出口,那只是把同一个问题带到下一个 IP。

第二,不要用固定周期反复重试。有些站点的限流窗口按最后一次触发重新计时,到点就试,等于每次都从零开始等。

第三,不要把“恢复成功”写成承诺。同一个任务在不同时段、不同目标站上的表现可以完全不同,能确认的只有“这一次、这个条件下恢复了”。

常见问题

多个任务并行跑,限流窗口是各算各的吗?

不一定。站点按出口或账号计数时,并行任务共用同一个计数,窗口也一起走。这一项要按站点公开规则或支持回复确认;确认不了时,只能记录“同时段多个任务都出现了 429”,不要写成它们共用同一限额。

给站点支持发工单时,日志要脱敏到什么程度?

保留时间、接口路径、状态码、Retry-After 和出口地区就够了;Cookie、令牌和请求体里的账号信息都要删掉,附件不要整包上传。

暂停期间,还能用同一个出口跑别的任务吗?

不能默认可以。要看限流按什么维度计数:按出口计数的站点,换任务不改计数,只会让窗口继续被消耗。

恢复后多久才能判断任务可以继续?

没有通用时长。按第 5 步的连续成功次数与分档规则做小批验证;再次出现 429 或验证码时暂停并更新检查点。

任务超时比站点要求的等待更短,怎么办?

让任务直接暂停,而不是把等待截短。截短等待等于在站点还没放行时就继续请求,往往把窗口重新推后;恢复时间按站点说明或支持回复,不按任务的超时预算。

暂停与恢复的完整流程可以对照代理 IP 故障排查中心。