发布时间: 2026年10月15日更新时间: 2026年10月15日

Indeed 职位采集代理 IP 如何控制请求频率:地区切换、会话与重试

控制 Indeed 职位采集频率时,先限定公开页面和访问规则,再设置请求预算、退避、分页去重与停止条件,按证据判断是否需要代理 IP。

Indeed 职位采集先受公开范围、网站规则和请求预算约束。先用小样本观察状态码、延迟和重复率,再决定是否扩大或调整出口。

如何确定采集范围和请求预算

确认访问页面公开且符合网站规则,再记录样本量、分页、去重、并发和请求预算。预算是本次任务边界,不是通用安全频率;出现拒绝或挑战信号时收缩或停止。

公开页面采样边界可参考目标网站规则和合规采样怎么影响代理 IP 使用结果。

遇到 429、403 或验证码怎么办

只有业务确实需要地区对照且规则允许时才切换地区参数或出口;保持其他条件一致并记录职位地点、页面提示和出口。切换出口不能作为处理 403/429 的办法。

下面的决策表用于判断继续、等待、暂停或停止。

响应类型是否继续等待或动作停止条件
200 且内容正常在预算内继续保持当前间隔达到预算
429等待后小样本复测遵守 Retry-After、降低频率连续受限
403暂停核对权限和页面范围持续拒绝
验证码暂停自动请求核对访问规则条件不明确
幂等读取超时有限重试逐步退避超出上限
有副作用请求超时先查状态确认未执行后再决定状态不明

持续拒绝、出现验证码或规则不明确时,停止扩样,不通过切换出口绕过限制。

地区切换前需要固定哪些条件

记录公开页面范围、样本量、分页、去重、并发、请求预算、职位地点、查询参数、会话和测试时间。只有业务确实需要地区对照且规则允许时才切换地区或出口,并保持其他变量不变;切换出口不能处理 403 或 429。

Retry-After 和重试应该怎么处理

不同请求的重试方式不同,先判断请求是否会改变服务端状态,再选择等待或查询状态。

重试和故障转移的设计可参考代理请求超时、失败重试和故障转移怎么设计。

哪些情况下应暂停或停止采集

对确认不会产生副作用、可以重复执行的读取请求,按照响应中的 Retry-After 等待,并逐步降低后续请求频率。没有该字段时也应设置有限的退避次数;达到请求预算、连续收到拒绝或状态仍不稳定时停止重试。

幂等读取:等待后有限重试

创建任务、提交操作或其他可能改变服务端状态的请求发生超时后,不能直接判断为“没有执行”。先按当前服务提供的状态查询方式确认任务是否已创建或仍在处理,再决定是否重试,避免重复提交。出现验证码、连续 403/429、访问范围不明确或超出请求预算时,应暂停自动请求并核对访问规则。

可能改变服务端状态的请求:先查任务状态

例如,如何建立一次小样本预算

先在目标站允许的公开访问范围内设定本次样本量、并发方式和观察字段,记录状态码、响应延迟、重复率及 Retry-After。这些数值只属于本次任务的记录方案,不是适用于所有目标站的固定频率;出现连续拒绝、验证码或规则不明确时,应停止扩样。

FAQ

什么情况下必须停止采集?

连续拒绝、验证码、规则不明确或无法确认请求状态时停止,不用换出口继续试。

收到 429 后如何处理 Retry-After?

按响应给出的时间等待,再降低后续请求频率。等待期间不要并发重试。

哪些读取请求可以有限重试?

只有确认不会产生副作用、可以重复执行的读取请求,才适合设置有限退避。

切换地区或出口可以解决 403 吗?

不应作为默认处理方式。先核对页面范围、权限和访问规则;地区对照只有在业务确有需要且访问规则允许时再做。