代理日志怎么帮助排查采集失败？
代理日志可用来区分连接、认证、出口地区、目标站风控和采集逻辑问题。本文给出必记字段、状态码分流、对照测试及动态住宅代理 IP 的适用边界。
代理日志的价值不是证明“代理 IP 好不好”，而是把采集失败定位到连接、认证、出口地区、目标站风控或脚本逻辑中的具体一层。使用爬虫代理 IP 或其他代理 IP 做采集时，应先记录目标 URL、出口 IP、地区、状态码、耗时和重试结果，再做直连与代理、不同时间段或不同出口的单变量对照；不承诺绕过反爬，实际成功率需通过目标站测试确认。采集应限定于公开或已获授权的数据，遵守目标站 robots.txt 与服务条款，并控制请求频率。
采集任务不同，日志重点也不同
公开页面、登录态页面、API 和需要浏览器渲染的页面，对代理 IP 和日志字段的要求不同：
- 公开页面：重点记录状态码、延迟、出口地区和请求频率；
- 登录态页面：增加账号、会话、Cookie 和登录保持状态的脱敏标识；
- API：记录请求参数类型、认证结果和响应错误码，但不要保存密钥；
- 渲染页面：同时记录浏览器版本、加载阶段和脚本错误。
如果没有先区分访问方式，同一个 403 可能被错误归因到代理 IP，而真实原因可能是登录态失效或页面脚本未完成。
代理日志应记录哪些字段
| 字段 | 用途 |
|---|---|
| 测试时间和目标 URL | 判断是否只在特定时段或站点失败 |
| 代理 IP 类型和协议 | 区分资源类型与接入方式 |
| 出口 IP、国家和城市 | 检查请求是否经过代理及地区是否跳变 |
| 状态码和响应摘要 | 区分认证、限流、目标站拒绝和服务端错误 |
| 连接与响应耗时 | 判断连接失败、读取超时或高延迟 |
| 请求频率和并发 | 判断 429 或验证码是否与访问节奏相关 |
| 重试次数和退避时间 | 判断重试是否正在放大失败 |
| UA、Cookie、TLS 和会话标识 | 排查非出口因素，敏感值必须脱敏 |
采集失败时应该先排查哪一层
代理连接失败怎么排查
如果 IP 检测页和目标站都无法访问，先查本地网络、海外网络环境、协议、端口和代理信息是否有效。不要直接把错误写成“目标站封锁”。
407 认证失败怎么排查
出现 407 时，先核对账号密码是否来自同一组代理信息，再核对协议和端口是否与后台显示一致。407 通常表示账号密码认证失败。
出口 IP 或地区不正确怎么排查
IP 检测页显示代理已生效，但国家或城市与任务目标不一致时，应记录检测源、目标站实际返回、语言、币种和重定向结果。不同 IP 库可能有更新差异，最终还要看目标站如何识别。
只有目标站访问失败怎么排查
其他网站正常、只有目标站返回 403、429 或验证码时，重点检查请求频率、Cookie、账号状态、请求头、TLS 和目标站规则。代理 IP 只是其中一个变量。
页面能打开但采集结果为空怎么办
代理连接和目标页面均正常，但解析结果为空时，应检查选择器、页面渲染、重定向、登录态和接口变化，而不是继续轮换出口。
遇到不同错误应该先检查什么
| 表现 | 优先检查 | 不建议的动作 |
|---|---|---|
| 407 | 认证信息、协议、端口 | 继续高频重试 |
| 403 | 目标站规则、账号、Cookie、出口地区 | 直接认定代理 IP 失效 |
| 429 | 频率、并发、退避策略 | 立即增加线程数 |
| 5xx | 目标站服务状态、请求时间 | 只更换代理 IP |
| 超时 | 本地网络、代理端口、目标响应阶段 | 混合修改多个参数 |
| 验证码 | 频率、会话、账号和环境一致性 | 承诺换 IP 即可解决 |
如何通过对照测试定位采集失败原因
1. 同一目标 URL、同一时间窗口，分别测试直连和代理出口。
2. 同一代理 IP，分别测试 IP 检测页和目标站。
3. 同一账号、设备和出口下，只调整请求间隔或并发。
4. 同一目标 URL 下，只更换一个代理 IP，其他参数保持不变。
5. 记录成功率、403/429 比例、验证码次数、平均延迟和出口跳变。
没有真实数据时只保留记录模板，不要把建议值写成实测结果。
日志如何帮助定位真实原因：一个示例
假设直连目标站返回 200，代理出口能够正常访问 IP 检测页，但目标站连续返回 403；更换一个出口后仍然是 403，降低请求频率后恢复 200。这个过程说明代理接入和地区大概率正常，问题更接近目标站规则、请求频率或请求特征，不能直接归因于代理 IP 失效。相反，如果只有某一个出口失败、其他条件完全不变且复测恢复，则可以把该出口作为资源质量问题单独处理。
| 日志结果 | 更可能的结论 | 处理方向 |
|---|---|---|
| IP 检测页和目标站都失败 | 接入、认证或网络问题 | 先查协议、端口、账号和本地网络 |
| IP 检测成功，只有目标站 403 | 目标站规则、会话或请求特征 | 固定变量后检查 Cookie、UA、频率和账号 |
| 429 随重试次数增加 | 频率、并发或退避策略有问题 | 降低频率、减少并发并增加退避 |
| 多个出口均失败 | 账号、页面逻辑或目标站策略问题 | 转查登录态、选择器、页面结构和平台规则 |
| 只有单一出口持续失败 | 该出口或资源质量异常 | 小范围更换并做同条件复测 |
一次脱敏排障记录如下（目标为公开商品列表页，Python requests，UA 固定，并发 1）：
```json
{"time":"2026-09-06T14:02:11+08:00","url":"https://shop.example.test/list?page=1","proxy_ip":"203.0.113.*","country":"MY","city":"Kuala Lumpur","status":403,"latency_ms":842,"retry":0,"error":"http_403"}
{"time":"2026-09-06T14:04:03+08:00","url":"https://shop.example.test/list?page=1","proxy_ip":"203.0.113.*","country":"MY","city":"Kuala Lumpur","status":200,"latency_ms":611,"retry":0,"error":null,"interval_ms":5000}
```
发现：首请求 403；排除：同一出口访问 IP 检测页为 200，认证和地区均正常；结论：降低请求频率后恢复，问题更接近目标站限频而非代理失效；下一步：保持单并发和 5 秒间隔，再用第二个页面做同条件复测。
排查结论可以按下面的格式记录，方便团队复盘：
```text
失败发生在：连接 / 认证 / 出口地区 / 目标站 / 采集逻辑
已经排除：
最可能原因：
下一步只调整：
暂不建议：
```
每次只填写一个最可能原因和一个下一步变量，避免把更换代理、提高并发和修改请求头同时进行，导致无法判断真正原因。
什么时候应该更换代理 IP
公开数据采集、批量短会话和多地区轮换通常先评估动态住宅代理 IP；需要按周期使用动态资源时，再查看动态住宅 30 天产品。长期登录或持续同一身份才考虑静态住宅代理 IP。住宅属性不是硬要求、重视速度或成本时，可小范围测试数据中心代理 IP。
具体任务的动态/静态取舍可参考动态 IP 还是静态 IP 场景选型；账号、广告、KYC 和采集结果的能力边界见代理 IP 能保证解封、过审、KYC 或采集成功吗。
如果前面的对照已经明确失败层级，再根据任务类型选择产品和排障入口；不要先更换代理，再用结果反推原因。
FAQ
哪些日志字段最有助于定位采集失败？
优先保留目标 URL、出口 IP、国家和城市、状态码、耗时、请求频率与异常类型。这些字段能先把问题分到连接、地区、限流或目标站规则层。
403 是否说明代理 IP 已经失效？
不一定。先确认其他网站是否正常，再检查目标站规则、Cookie、账号状态和请求特征；只有对照测试后才能判断是否需要更换出口。
429 和超时应该怎么处理？
429 先降低频率并增加退避，超时则要区分连接超时和读取超时。两者不能使用同一种盲目重试策略，具体可参考代理出现 403、429、验证码时先查什么。
什么时候更换代理 IP 仍然无效？
当问题来自账号限制、登录态、页面结构、请求频率或平台规则时，更换出口通常无效。应根据日志转查对应层级。
先选一个真实目标 URL 建立日志样本，完成直连、代理出口和单变量复测。配置或认证仍异常时，可结合智能检测助手继续排查；自动化记录字段可参考自动化脚本使用代理时如何记录 IP、地区和失败原因。