任务恢复时如何确认上一批结果是否完整
任务中断后不能只看进度条。代理 IP 池里跑批量任务时,先冻结输入清单与批次边界,用数量、唯一键和目标端状态三项对照,再判断上一次结果是完整、缺页还是结果未知。
进度条到 100% 不能单独证明上一批数据完整,尤其是通过代理 IP 池执行的批量任务。恢复前应固定任务 ID、批次号、输入版本和游标,再对照数量、唯一键及目标端状态;有项目无法核实时,结论应保留为待核实或结果未知。
如何判断代理 IP 池中的上一批任务是否完成?
请求发出前、请求处理中和结果写入后中断,有什么区别?
中断可能落在三个位置:请求发出前、请求已发出、结果已写入但游标没提交。前两种是「没做」,第三种是「做了但没记账」,后者最容易被误判成完成。若中断时还伴随网络报错,可对照代理 timeout、connection refused 和 TLS 证书错误排查,但不要仅凭客户端报错就推断目标端没有处理。
用四个标识追踪每个任务单元的状态
先把四个标识固定下来:任务 ID、批次号、输入清单版本、起止游标。再把每个单元归到一个状态:待处理、处理中、已完成、失败、结果未知。
对照数量、唯一键和结果摘要
三项按成本从低到高排,先比数量,对不上再往下查:
- 数量:本地记录条数 vs 目标端可查询条数,两边差多少、差在哪个区间。
- 唯一键:本地有、目标端没有 = 缺;目标端有、本地没有 = 越界;一条对应多条 = 重复。
- 结果摘要:同一条记录在两边的关键字段是否一致,不一致说明写了一半。
对仍然无法确认的请求,按代理请求超时、失败重试和故障转移的设计保留「结果未知」状态,不要先按完成处理。
目标端没有批量查询能力时,可以退一步做可复现的抽样:固定抽样范围和规则,记录样本量与核验结果。抽样一致只能说明样本里没发现差异,不能据此断定全批完整。
核验完三项后,可按下面的对应关系给本批结果分类:
| 结论 | 判定条件 | 下一步 |
|---|---|---|
| 完整 | 数量一致、唯一键无缺失无重复、摘要一致 | 从下一批次继续 |
| 缺页 | 数量偏少、唯一键有缺失 | 按缺口补跑,补前先查副作用 |
| 重复 | 唯一键重复、数量偏多 | 先定位重复来源,不直接删 |
| 结果未知 | 日志缺失、检查点非原子、目标端不可查 | 人工抽样复核,不自动继续 |
为什么记录数量相同,结果仍可能不完整?
代理 IP 池按出口 IP 分组执行时,条数对上只是必要条件,不是结论。出口 IP 变化只可能改变目标端返回的上下文或排序,是否造成漏取、重取,要靠输入快照和游标记录判断,不能直接归因。
- 输入清单在中断期间更新过:批次定义变了,总数刚好一样,集合已经不同。
- 上游删了、下游补了:一增一减互相抵掉,总数不变但内容对不上。
- 分页排序不稳定:排序键不唯一、或游标按偏移量计算时,同一页可能被取两次、另一页被整体跳过,总数仍然接近。
用输入清单版本定位缺失或重复的来源
判别入口只有一个方向:先看输入清单版本号在中断期间有没有变过。变了,说明批次定义本身换了。版本没变但上游计数减少,说明源端少了记录。两者都没变、同一分页却被取两次,问题就出在游标上。
遇到这三种情况,重做一遍唯一键差集,不要用条数凑结论。偏移量与排序值两类游标在数据变动时的表现不同,可参考 Elasticsearch 搜索结果分页 中的对照。若中断时恰好又赶上代理 IP 出口变化,会话与游标那一侧的表现见 代理 IP 切换后采集任务如何从断点继续。
核对完成后,应该记录并保留哪些证据?
只在自有或授权任务里做核对。回滚前先确认这项操作的副作用能否撤销,以及适用的数据保留要求。为了让复核结果可追溯,记录中应包含脱敏日志、差异项和核验时间;凭据与完整业务数据不要写入日志。
| 核对项 | 必须记录的字段 |
|---|---|
| 输入范围 | 输入清单版本、批次号、起止游标 |
| 执行状态 | 待处理、处理中、完成、失败、结果未知 |
| 业务结果 | 唯一标识、目标端状态、结果摘要 |
| 运行环境 | 任务版本、代理配置版本、UTC 时间 |
| 决策 | 继续、跳过、回滚或人工复核及理由 |
常见问题
代理 IP 批量任务中断,没记下游标还能核对吗?
不能还原精确边界。只能按时间窗加唯一键反推范围,结论标「范围不确定」,再人工抽样复核。
两边数量对不上,先信哪边?
按业务定义的权威数据源裁决,通常是目标端的最终状态记录或对账数据,并考虑写入延迟与一致性窗口;本地日志用来解释差异。目标端只有暂态或查不到时转人工,不要自行推断为完成。
上一批标成结果未知,还能跑下一批吗?
看依赖关系。与之无依赖的批次可以先跑;有下游依赖的,先等复核结论,别把未知当完成往下传。
核对结果要留多久?
按审计要求和数据保留规范定,至少覆盖这批结果的复核期。留脱敏差异清单与核验时间,凭据和完整业务数据不进日志。
