Indeed 职位采集代理 IP 如何控制请求频率:地区切换、会话与重试
控制 Indeed 职位采集频率时,先限定公开页面和访问规则,再设置请求预算、退避、分页去重与停止条件,按证据判断是否需要代理 IP。
Indeed 职位采集先受公开范围、网站规则和请求预算约束。先用小样本观察状态码、延迟和重复率,再决定是否扩大或调整出口。
如何确定采集范围和请求预算
确认访问页面公开且符合网站规则,再记录样本量、分页、去重、并发和请求预算。预算是本次任务边界,不是通用安全频率;出现拒绝或挑战信号时收缩或停止。
公开页面采样边界可参考目标网站规则和合规采样怎么影响代理 IP 使用结果。
遇到 429、403 或验证码怎么办
只有业务确实需要地区对照且规则允许时才切换地区参数或出口;保持其他条件一致并记录职位地点、页面提示和出口。切换出口不能作为处理 403/429 的办法。
下面的决策表用于判断继续、等待、暂停或停止。
| 响应类型 | 是否继续 | 等待或动作 | 停止条件 |
|---|---|---|---|
| 200 且内容正常 | 在预算内继续 | 保持当前间隔 | 达到预算 |
| 429 | 等待后小样本复测 | 遵守 Retry-After、降低频率 | 连续受限 |
| 403 | 暂停 | 核对权限和页面范围 | 持续拒绝 |
| 验证码 | 暂停自动请求 | 核对访问规则 | 条件不明确 |
| 幂等读取超时 | 有限重试 | 逐步退避 | 超出上限 |
| 有副作用请求超时 | 先查状态 | 确认未执行后再决定 | 状态不明 |
持续拒绝、出现验证码或规则不明确时,停止扩样,不通过切换出口绕过限制。
地区切换前需要固定哪些条件
记录公开页面范围、样本量、分页、去重、并发、请求预算、职位地点、查询参数、会话和测试时间。只有业务确实需要地区对照且规则允许时才切换地区或出口,并保持其他变量不变;切换出口不能处理 403 或 429。
Retry-After 和重试应该怎么处理
不同请求的重试方式不同,先判断请求是否会改变服务端状态,再选择等待或查询状态。
重试和故障转移的设计可参考代理请求超时、失败重试和故障转移怎么设计。
哪些情况下应暂停或停止采集
对确认不会产生副作用、可以重复执行的读取请求,按照响应中的 Retry-After 等待,并逐步降低后续请求频率。没有该字段时也应设置有限的退避次数;达到请求预算、连续收到拒绝或状态仍不稳定时停止重试。
幂等读取:等待后有限重试
创建任务、提交操作或其他可能改变服务端状态的请求发生超时后,不能直接判断为“没有执行”。先按当前服务提供的状态查询方式确认任务是否已创建或仍在处理,再决定是否重试,避免重复提交。出现验证码、连续 403/429、访问范围不明确或超出请求预算时,应暂停自动请求并核对访问规则。
可能改变服务端状态的请求:先查任务状态
例如,如何建立一次小样本预算
先在目标站允许的公开访问范围内设定本次样本量、并发方式和观察字段,记录状态码、响应延迟、重复率及 Retry-After。这些数值只属于本次任务的记录方案,不是适用于所有目标站的固定频率;出现连续拒绝、验证码或规则不明确时,应停止扩样。
FAQ
什么情况下必须停止采集?
连续拒绝、验证码、规则不明确或无法确认请求状态时停止,不用换出口继续试。
收到 429 后如何处理 Retry-After?
按响应给出的时间等待,再降低后续请求频率。等待期间不要并发重试。
哪些读取请求可以有限重试?
只有确认不会产生副作用、可以重复执行的读取请求,才适合设置有限退避。
切换地区或出口可以解决 403 吗?
不应作为默认处理方式。先核对页面范围、权限和访问规则;地区对照只有在业务确有需要且访问规则允许时再做。
