发布时间: 2026年11月20日更新时间: 2026年11月20日

任务中断后如何区分数据缺页与重复记录

缺页和重复要分开查。代理 IP 轮换后先冻结输入清单求差集看缺页,再用唯一键和批次覆盖范围看重复;两条线混查,往往用补跑把重复量放大。

缺页和重复记录需要分别核对。冻结本批输入清单后,用差集找缺口,再用唯一键和批次范围查重复;整批重跑可能补上缺口,也可能扩大重复,而代理 IP 轮换本身不会改变业务唯一键。

代理 IP 轮换后,如何分别查出缺页和重复记录?

先把输入清单固化成一个可比较的集合:预期集合 E(应当处理的全部标识),结果集合 R(实际写入的标识)。如果这轮任务是从暂停点续跑的,先确认断点和批次边界,可参考代理 IP 切换后采集任务如何从断点继续。

固定预期清单,再与实际结果逐项比对

E 的完整性决定差集是否可信。使用冻结版本的清单,并核对其条数或版本是否与上游输入一致;如果清单本身不完整,差集也无法证明哪些记录真正缺失。唯一键该建在哪些字段上、重复写入会怎样,可参考 PostgreSQL 唯一约束 的说明。

运算含义下一步
E − R缺页:该处理却没写入定位缺口所在批次,补跑
R − E越界:写入了不在本批范围内的记录查是重复消费了旧输入,还是新输入
R 中的重复项同一标识写了多次定位重复来源,不直接删

三项要一起算。只算 E − R 会漏掉越界,只算重复又发现不了缺口。比较之前还得把口径对齐:键规范、输入快照、过滤条件、软删除怎么算、版本粒度到哪一层。口径不一致,集合差分会把合法记录判成缺页或越界;差集只说明标识层面的差异,是否真的缺页,仍要回到业务状态确认。

哪些情况不能直接自动去重?

以下四种情况都不能只凭自动规则处置,应先核对源数据和业务状态:

  • 没有稳定唯一键:用内容摘要或字段拼接当键时,业务字段更新会让同一条记录看起来像两条。
  • 唯一键在重试时被重新生成:每次重试都发新 ID,服务端就无法识别这是同一个操作。
  • 分页游标重叠:上一页的最后一条被下一页再取一次,属于读取侧重复,不是写入侧重复。
  • 输入本身有重复:清单里本来就重复,去重会把正常业务数据删掉。

删除可能不可逆,处置前要留变更审计。

出口 IP 变化会改变目标端返回的内容或排序,这一点要单独看。业务键稳不稳定,取决于源数据的标识设计:优先用源记录的 ID 或版本号,不要拿出口、内容摘要或字段拼接当键。

如何记录差异,并定位到对应批次?

差异必须能回到具体输入版本和批次,否则无法只补缺口,往往只能整批重跑。记录时保留输入版本、批次边界、差异来源和核对时间。

记录项建议记录
输入版本清单版本、批次号、冻结时间
差异缺页数、越界数、重复数、涉及区间
归属每条差异属于哪个批次、哪次重试
处置补跑、人工复核或保留

差异要能归到具体批次,否则补跑时无法只跑缺口那一段,只能整批重来——整批重来正是重复量放大的来源。

归属要写到标识级别,而不是只写数量。只记「缺多少条」的报表,补跑时补不了对应的记录;写到标识才能精确补,复核时也能逐条对上。

常见问题

重复记录能不能直接删掉?

不能。先标记待核,确认哪一条是有效版本再处置,删除前留变更审计。删掉的记录事后无法证明当时的状态。

同一标识内容更新过多次,算重复吗?

不算重复,算版本。先用业务语义定义实体键和版本键;保留哪些历史版本由审计与时序需求决定,不要默认只取最新,并发更新时「最新」也可能被覆盖。

缺口上千条,先补还是先查原因?

先查原因。一次中断通常只影响其中一段,整段补跑会引入新的重复;定位到区间再补。

代理 IP 轮换后补跑,会不会把重复量放大?

会,只要补跑范围大于缺口范围。按标识补而不是按批次补,补完再跑一次重复检查;补跑后的状态码与耗时对照,见 代理 IP 故障排查中心。