任务中断后如何区分数据缺页与重复记录
缺页和重复要分开查。代理 IP 轮换后先冻结输入清单求差集看缺页,再用唯一键和批次覆盖范围看重复;两条线混查,往往用补跑把重复量放大。
缺页和重复记录需要分别核对。冻结本批输入清单后,用差集找缺口,再用唯一键和批次范围查重复;整批重跑可能补上缺口,也可能扩大重复,而代理 IP 轮换本身不会改变业务唯一键。
代理 IP 轮换后,如何分别查出缺页和重复记录?
先把输入清单固化成一个可比较的集合:预期集合 E(应当处理的全部标识),结果集合 R(实际写入的标识)。如果这轮任务是从暂停点续跑的,先确认断点和批次边界,可参考代理 IP 切换后采集任务如何从断点继续。
固定预期清单,再与实际结果逐项比对
E 的完整性决定差集是否可信。使用冻结版本的清单,并核对其条数或版本是否与上游输入一致;如果清单本身不完整,差集也无法证明哪些记录真正缺失。唯一键该建在哪些字段上、重复写入会怎样,可参考 PostgreSQL 唯一约束 的说明。
| 运算 | 含义 | 下一步 |
|---|---|---|
| E − R | 缺页:该处理却没写入 | 定位缺口所在批次,补跑 |
| R − E | 越界:写入了不在本批范围内的记录 | 查是重复消费了旧输入,还是新输入 |
| R 中的重复项 | 同一标识写了多次 | 定位重复来源,不直接删 |
三项要一起算。只算 E − R 会漏掉越界,只算重复又发现不了缺口。比较之前还得把口径对齐:键规范、输入快照、过滤条件、软删除怎么算、版本粒度到哪一层。口径不一致,集合差分会把合法记录判成缺页或越界;差集只说明标识层面的差异,是否真的缺页,仍要回到业务状态确认。
哪些情况不能直接自动去重?
以下四种情况都不能只凭自动规则处置,应先核对源数据和业务状态:
- 没有稳定唯一键:用内容摘要或字段拼接当键时,业务字段更新会让同一条记录看起来像两条。
- 唯一键在重试时被重新生成:每次重试都发新 ID,服务端就无法识别这是同一个操作。
- 分页游标重叠:上一页的最后一条被下一页再取一次,属于读取侧重复,不是写入侧重复。
- 输入本身有重复:清单里本来就重复,去重会把正常业务数据删掉。
删除可能不可逆,处置前要留变更审计。
出口 IP 变化会改变目标端返回的内容或排序,这一点要单独看。业务键稳不稳定,取决于源数据的标识设计:优先用源记录的 ID 或版本号,不要拿出口、内容摘要或字段拼接当键。
如何记录差异,并定位到对应批次?
差异必须能回到具体输入版本和批次,否则无法只补缺口,往往只能整批重跑。记录时保留输入版本、批次边界、差异来源和核对时间。
| 记录项 | 建议记录 |
|---|---|
| 输入版本 | 清单版本、批次号、冻结时间 |
| 差异 | 缺页数、越界数、重复数、涉及区间 |
| 归属 | 每条差异属于哪个批次、哪次重试 |
| 处置 | 补跑、人工复核或保留 |
差异要能归到具体批次,否则补跑时无法只跑缺口那一段,只能整批重来——整批重来正是重复量放大的来源。
归属要写到标识级别,而不是只写数量。只记「缺多少条」的报表,补跑时补不了对应的记录;写到标识才能精确补,复核时也能逐条对上。
常见问题
重复记录能不能直接删掉?
不能。先标记待核,确认哪一条是有效版本再处置,删除前留变更审计。删掉的记录事后无法证明当时的状态。
同一标识内容更新过多次,算重复吗?
不算重复,算版本。先用业务语义定义实体键和版本键;保留哪些历史版本由审计与时序需求决定,不要默认只取最新,并发更新时「最新」也可能被覆盖。
缺口上千条,先补还是先查原因?
先查原因。一次中断通常只影响其中一段,整段补跑会引入新的重复;定位到区间再补。
代理 IP 轮换后补跑,会不会把重复量放大?
会,只要补跑范围大于缺口范围。按标识补而不是按批次补,补完再跑一次重复检查;补跑后的状态码与耗时对照,见 代理 IP 故障排查中心。
