如何测量不同地区经代理IP 访问 AI API 的实际延迟

同一 AI API 在不同地区的响应时间会受 DNS、网络连接、服务端排队和输出长度共同影响。比较前先定义计时点，分别记录客户端可见的端到端时间和能够取得的连接阶段数据；出口识别只说明所用地址的识别结果，不等同于目标服务实际调度或物理路径。

AI API 的实际延迟应该从哪一段开始测

先记录一组单调时钟时间点，再计算相邻阶段差值：调用开始、DNS 完成、TCP 连接完成、代理隧道可用、TLS 完成、首个响应字节、首个内容事件（流式接口）和响应完成。工具不支持的时间点记为不可观测，不要补猜值。TTFB 若定义为请求发出到首个响应字节，已包含此前建立连接的时间，不能再与 DNS/TCP/TLS 相加；若只测请求发送后的等待时间，应使用不同字段名。TLS 终止点及计时器的累计/差值口径必须注明。

非流式请求里，后两段通常合在一起表现为"总时长"，其中大部分由服务端生成决定；流式请求则要把首 token 时间和完整输出时间分开。只报总时长，会让"模型慢"和"链路慢"无法区分。

为什么流式和非流式请求要分开测

两者测的不是同一件事：

• 非流式：一次请求返回完整结果，总时长 = 排队 + 生成 + 传输。生成 token 数不同，时长可以差数倍，所以必须固定 max_tokens 和提示词。
• 流式：关注首 token 时间（体感上"多久开始出字"）和完成时间（"多久出完"）。首 token 是端到端指标，同时受排队、调度和生成影响；解释时要结合 DNS/TCP/TLS 各段、服务端时间戳和重复样本。

同一地区、同一提示词下，流式首内容时间与非流式完整响应时间不能互相替代。报告应分栏记录，并明确各计时点是否包含连接建立阶段。

如何预热请求并排除冷启动样本

冷态与暖态回答的是不同问题，应分别报告；连接新建和连接复用也要分组。3–5 次可作为试跑示例，不能保证连接、DNS 缓存或模型已预热。若只研究暖态，应依据连接复用、缓存命中等实际事件定义排除规则，同时保留冷态结果或说明其未纳入的理由。各组固定提示词、参数和采样时间窗，并记录请求间隔与限流状态。

固定请求还有一个容易忽略的点：随机性。温度不为 0 时输出长度会波动，间接影响总时长，所以比对链路时优先看首字节和首 token，而不是总时长。

如何逐条确认请求使用了预期出口

每条请求记录配置地区、实际出口 IP、所用 IP 地理库及版本、识别结果，以及目标服务端可取得的调度或区域信息。IP 库结果不等同于物理路径或目标服务实际调度；ASN 也不能单独证明住宅或机房属性。同一测试出现多个出口时按出口分组，先说明配置与观测差异，再解释延迟结果。

连接阶段计时可参考 curl write-out 变量文档；它只适用于 curl 能提供的指标，首内容事件仍需应用埋点。

测量时应该记录哪些字段并如何统计

先按地区把原始记录填全，再谈统计口径。

• 地区/分组：A-暖态示例 ｜ 出口及识别来源：示例出口 / 库版本待填 ｜ 连接新建/复用：复用 ｜ DNS/TCP/TLS/隧道（可观测差值）：按实际工具填 ｜ TTFB 或首内容时间：按实际埋点填 ｜ 总时长：按实际记录填 ｜ 状态：示例 ｜ 成功样本数：试跑样本 ｜ p50 / p95 对应字段：明确指标后计算
• 地区/分组：B-冷态示例 ｜ 出口及识别来源：示例出口 / 库版本待填 ｜ 连接新建/复用：新建 ｜ DNS/TCP/TLS/隧道（可观测差值）：按实际工具填 ｜ TTFB 或首内容时间：按实际埋点填 ｜ 总时长：按实际记录填 ｜ 状态：示例 ｜ 成功样本数：试跑样本 ｜ p50 / p95 对应字段：明确指标后计算

表格展示结构而非固定样本门槛。原始逐请求记录与地区汇总分开保存；每组报告成功、失败和超时数量及采样时间窗。按明确字段计算 p50/p95，并给出成功样本数；平均值可作为辅助统计，不替代分位数。429 与 5xx 单独分组，避免将限流或服务端错误误判为网络延迟。样本量按差异大小、波动程度、成功率精度及时间覆盖确定，不以达到某个示例数就判充分。

如何解释测量结果并进行长期跟踪

一次完整测量记录时间窗、客户端版本、提示词与参数、配置地区、出口及识别来源、可观测计时点、状态码和各分组样本数。关键字段缺失时，将结论限定为本次观察，不概括为某地区普遍更快。

结论边界包括：只覆盖当前服务端环境与当前时段；模型版本变化后需重测；跨地区差异可能来自 DNS 调度而非物理路径。把这些写明，读者才知道数字能用到哪一步。

长期跟踪时保持计时定义、客户端版本和分组规则一致；连接阶段细节不足时，将其标为不可观测并结合服务端时间戳，不据端到端时长单独归因网络段。

FAQ

Q：冷启动样本应该丢弃吗？

A：不应默认丢弃。冷态和暖态代表不同使用场景，应分别统计；只有研究暖态时，才按连接复用或缓存事件定义排除规则，并保留排除前后的样本数。

Q：流式接口该看首 token 还是总时长？

A：两个都记。首 token 是端到端指标，受链路、排队与生成共同影响；总时长更受输出长度影响，单看一个容易得出错误结论。

Q：p95 比平均延迟高很多，说明什么？

A：说明尾部请求明显更慢。应同时检查样本数、状态码、重试和采样时段；平均值可辅助判断，但不能替代分位数或单独说明根因。