发布时间: 2026年11月20日更新时间: 2026年11月20日

任务恢复时如何确认上一批结果是否完整

任务中断后不能只看进度条。代理 IP 池里跑批量任务时,先冻结输入清单与批次边界,用数量、唯一键和目标端状态三项对照,再判断上一次结果是完整、缺页还是结果未知。

进度条到 100% 不能单独证明上一批数据完整,尤其是通过代理 IP 池执行的批量任务。恢复前应固定任务 ID、批次号、输入版本和游标,再对照数量、唯一键及目标端状态;有项目无法核实时,结论应保留为待核实或结果未知。

如何判断代理 IP 池中的上一批任务是否完成?

请求发出前、请求处理中和结果写入后中断,有什么区别?

中断可能落在三个位置:请求发出前、请求已发出、结果已写入但游标没提交。前两种是「没做」,第三种是「做了但没记账」,后者最容易被误判成完成。若中断时还伴随网络报错,可对照代理 timeout、connection refused 和 TLS 证书错误排查,但不要仅凭客户端报错就推断目标端没有处理。

用四个标识追踪每个任务单元的状态

先把四个标识固定下来:任务 ID、批次号、输入清单版本、起止游标。再把每个单元归到一个状态:待处理、处理中、已完成、失败、结果未知。

对照数量、唯一键和结果摘要

三项按成本从低到高排,先比数量,对不上再往下查:

  1. 数量:本地记录条数 vs 目标端可查询条数,两边差多少、差在哪个区间。
  2. 唯一键:本地有、目标端没有 = 缺;目标端有、本地没有 = 越界;一条对应多条 = 重复。
  3. 结果摘要:同一条记录在两边的关键字段是否一致,不一致说明写了一半。

对仍然无法确认的请求,按代理请求超时、失败重试和故障转移的设计保留「结果未知」状态,不要先按完成处理。

目标端没有批量查询能力时,可以退一步做可复现的抽样:固定抽样范围和规则,记录样本量与核验结果。抽样一致只能说明样本里没发现差异,不能据此断定全批完整。

核验完三项后,可按下面的对应关系给本批结果分类:

结论判定条件下一步
完整数量一致、唯一键无缺失无重复、摘要一致从下一批次继续
缺页数量偏少、唯一键有缺失按缺口补跑,补前先查副作用
重复唯一键重复、数量偏多先定位重复来源,不直接删
结果未知日志缺失、检查点非原子、目标端不可查人工抽样复核,不自动继续

为什么记录数量相同,结果仍可能不完整?

代理 IP 池按出口 IP 分组执行时,条数对上只是必要条件,不是结论。出口 IP 变化只可能改变目标端返回的上下文或排序,是否造成漏取、重取,要靠输入快照和游标记录判断,不能直接归因。

  • 输入清单在中断期间更新过:批次定义变了,总数刚好一样,集合已经不同。
  • 上游删了、下游补了:一增一减互相抵掉,总数不变但内容对不上。
  • 分页排序不稳定:排序键不唯一、或游标按偏移量计算时,同一页可能被取两次、另一页被整体跳过,总数仍然接近。

用输入清单版本定位缺失或重复的来源

判别入口只有一个方向:先看输入清单版本号在中断期间有没有变过。变了,说明批次定义本身换了。版本没变但上游计数减少,说明源端少了记录。两者都没变、同一分页却被取两次,问题就出在游标上。

遇到这三种情况,重做一遍唯一键差集,不要用条数凑结论。偏移量与排序值两类游标在数据变动时的表现不同,可参考 Elasticsearch 搜索结果分页 中的对照。若中断时恰好又赶上代理 IP 出口变化,会话与游标那一侧的表现见 代理 IP 切换后采集任务如何从断点继续。

核对完成后,应该记录并保留哪些证据?

只在自有或授权任务里做核对。回滚前先确认这项操作的副作用能否撤销,以及适用的数据保留要求。为了让复核结果可追溯,记录中应包含脱敏日志、差异项和核验时间;凭据与完整业务数据不要写入日志。

核对项必须记录的字段
输入范围输入清单版本、批次号、起止游标
执行状态待处理、处理中、完成、失败、结果未知
业务结果唯一标识、目标端状态、结果摘要
运行环境任务版本、代理配置版本、UTC 时间
决策继续、跳过、回滚或人工复核及理由

常见问题

代理 IP 批量任务中断,没记下游标还能核对吗?

不能还原精确边界。只能按时间窗加唯一键反推范围,结论标「范围不确定」,再人工抽样复核。

两边数量对不上,先信哪边?

按业务定义的权威数据源裁决,通常是目标端的最终状态记录或对账数据,并考虑写入延迟与一致性窗口;本地日志用来解释差异。目标端只有暂态或查不到时转人工,不要自行推断为完成。

上一批标成结果未知,还能跑下一批吗?

看依赖关系。与之无依赖的批次可以先跑;有下游依赖的,先等复核结论,别把未知当完成往下传。

核对结果要留多久?

按审计要求和数据保留规范定,至少覆盖这批结果的复核期。留脱敏差异清单与核验时间,凭据和完整业务数据不进日志。