大模型 API 怎么选:三条接入路径、六个维度的选型清单与自测方法

博客 / 开发工具

大模型 API 怎么选:三条接入路径、六个维度的选型清单与自测方法

大模型 API 怎么选,先别急着比模型排名,先定接入路径:官方直连、云厂商托管,还是聚合网关。路径定了,再用六个维度逐项核对:可用率与透明度、延迟、计费方式、数据政策、支付与结算、接入改造成本。每一项都应该能用公开数据或你自己跑的命令验证,而不是靠别人给的分数。

这篇文章不给“谁第一”的结论。不少“服务商推荐”类文章不公开评测方法,结论很难复现。下面每一格写的是判断方法,数字只引用 cdnping 和公开接口能查到的数据,并注明窗口。三条路径各自的基本概念,可以先看官方 API、云厂商托管与聚合网关:三种接入方式怎么选,本文侧重“怎么验证”。

三条接入路径分别是什么?

  • 官方直连:向模型厂商注册、付款,请求直接发到厂商域名,例如 api.openai.com、api.anthropic.com、api.deepseek.com。
  • 云厂商托管:通过云平台的账号和计费调用模型,同一个模型可能有多个托管方和多个区域。cdnping 模型监测读取的 OpenRouter 公开数据里,同一个模型常常同时列出厂商自己和多家云平台作为推理供应商。
  • 聚合网关:一个接口地址、一份额度,后面接多家上游。切换模型只改参数,代价是你和模型之间多了一层,需要额外核对它的可用率口径、计费和数据政策。

国内开发者实际要在这三条路里选,而常见的英文选型文章多在比较几家云平台,不太涉及这个问题。

选型矩阵:每一格怎么判断?

每一格写“去哪看、看什么”,可以照着逐项打勾。

维度官方直连云厂商托管聚合网关
可用率与透明度看官方状态页的事件记录和组件划分看云平台状态页和对应区域的服务健康页看是否公开按真实请求计算的可用率,口径是否写明
延迟测你到厂商域名的首次连接和往返测你到所选区域入口的延迟测你到网关入口的延迟,再加上网关到上游这一段
计费方式官方价格页,按 token 计费,注意输入输出分开计价云平台价格页,可能和官方价不同,也可能有承诺用量折扣订阅额度或按量,弄清计量单位怎么折算成 token
数据政策官方 API 数据使用条款、保留期限云平台的数据处理协议和区域驻留是否落盘、是否用于训练、是否转售,有无书面说明
支付与结算海外厂商通常要求境外可用的支付方式走云账号体系,通常可签企业合同、开发票看币种、付款方式、能否开票
接入改造成本每家 SDK 和接口格式各不相同认证方式多半是云平台自己的签名体系是否兼容 OpenAI / Anthropic 接口格式,现有工具只改地址能否跑通

几点补充:

  1. 透明度比单个百分比更重要。一个“99.9%”如果不说明分母是探测请求还是真实请求、哪些错误算平台失败,就没法比较。怎么自己定口径、写脚本,见自己测 AI API 的可用率:指标、脚本与口径。
  2. 价格只看每百万 token 单价会算错。输入输出单价差距、缓存命中价、长上下文加价、计量单位折算都会改变结果,具体见大模型 API 价格怎么比。
  3. 数据政策要看原文。读条款时重点看“是否保留、保留多久、是否用于训练”,方法见用第三方 AI API 时,代码和对话会被看到吗。

延迟怎么测才算数?

延迟最容易被误读,因为它强依赖“从哪里测”。先看一组 cdnping 的边缘探测数据。

来源:cdnping API 状态,从 Cloudflare 丹佛(DEN)节点探测各官方 API 入口。窗口:2026-10-17 UTC 08:40 至 10:05,共 242 条探测记录。cdnping 从 2026-10-17 才开始采集,这只是很短的一段样本,不代表长期水平。

API 入口p50(ms)p95(ms)窗口内可用率
api.anthropic.com7384100%
generativelanguage.googleapis.com6989100%
api.openai.com96194100%
openrouter.ai5483100%
api.deepseek.com353414100%
dashscope.aliyuncs.com6151152100%
api.moonshot.cn375112594.4%

这张表主要反映的是探测点的位置:从美国的节点看,海外厂商入口在百毫秒左右,国内平台入口要几百毫秒。换到国内网络,结果可能正好反过来。所以它回答不了“我该选谁”,只能说明延迟要用你自己的网络、在你的服务器所在地去测。

动手:三步测出你自己的延迟

  1. 打开 cdnping 在线测速,它在浏览器里测 15 个 AI API 入口的“首次连接”(含 DNS 和 TLS 握手)和“往返”(连接复用后 3 次请求的中位数)。在你日常写代码的网络上测一次,在部署服务的机房再测一次。

  2. 在服务器上用 curl 拆开各阶段耗时,把主机名换成你的候选入口:

    for host in api.openai.com api.anthropic.com api.deepseek.com; do
      curl -o /dev/null -s -w "$host dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer}\n" \
        "https://$host/"
    done
    

    这里请求的是根路径,返回什么状态码不重要,看的是建连和首字节时间。每个入口跑 10 次以上取中位数,单次结果意义不大。

  3. 如果要比较真实生成速度,还要测首 token 时间(TTFT),这需要带 API Key 发一个流式请求。首次连接、网关往返和 TTFT 分别反映什么,见AI API 延迟拆解:连接建立、网关往返与首 token 时间。

对聚合网关和云厂商托管:你测到的是“你到入口”这一段,入口到上游模型这一段测不到,只能通过 TTFT 间接观察。

可用率去哪里核实?

三条路径的核实方式不同:

  • 官方直连:看官方状态页。cdnping 同步了部分厂商状态页的事件。按 2026-09-17 以来的同步记录,OpenAI 状态页有 4 条 major、19 条 minor 事件,Anthropic 有 6 条 major、1 条 minor。这些数字只说明“官方公开了多少事件”,各家划分事件等级的标准不一样,不能直接横向排名。事件等级和组件怎么读,见怎么看 OpenAI 状态页和 Claude 状态页。
  • 云厂商托管:同一模型在不同托管方上的可用率可能不同。模型监测里能看到每个推理供应商的 30 分钟和 1 天可用率,以及量化精度(fp8、fp4 等)。供应商之间的差别见同一模型换个 OpenRouter 供应商,可用率能差多少,量化差异为什么要关注,见模型变笨还是换了供应商。
  • 聚合网关:要求它给出可复核的数据。以 AGI Plan 为例(AGI Plan 是 cdnping 的商业合作方),它在 https://agiplan.dev/api/status/requests?month=YYYY-MM 公开逐小时、逐能力组的成功和失败计数,不需要登录,口径是“成功 /(成功 + 平台自身原因失败)”,只有 5xx 算平台失败;cdnping 的 AGI Plan 状态页也做了镜像。截至 2026-10-17 的 30 天数据里,各能力组可用率在约 81.7% 到 98.0% 之间,高速轻量组最低。可以这样自己拉下来核对:
curl -s "https://agiplan.dev/api/status/requests?month=2026-10&format=json" | head -c 600

对任何网关都可以问同样三个问题:分母是什么、哪些错误算平台的、原始数据能不能下载。答不上来的,它给的可用率数字就没法拿来比较。

支付、合规和地区限制要注意什么?

  • 海外厂商的官方 API 通常要求境外可用的支付方式,部分服务对所在地区有限制。这类限制以官方政策为准,请遵守服务条款和当地法规,不要尝试绕过。
  • 需要合同和发票的团队,优先看云厂商托管或能开票的渠道。付款和开票的具体问题见国内开发者怎样付费使用 AI API。
  • 聚合网关要确认它和上游的关系。例如 AGI Plan(是 cdnping 的商业合作方)在站内明确说明自己不是官方授权渠道,按月订阅、人民币结算。选这类服务时,把“是否官方授权”和“对你的业务是否可接受”分开判断。

按场景怎么决策?

按顺序回答下面的问题,遇到“是”就停在对应结论上,再回到矩阵逐项验证。

场景一:个人编码工具(Claude Code、Codex、Cursor 等)

  1. 只用一家模型,能正常用官方支付方式?是 → 官方直连。
  2. 需要在多家模型之间切换,或希望人民币付费?是 → 聚合网关,但先按上文核对可用率口径和数据政策,再用在线测速看你的网络到入口的延迟。
  3. 改接口地址的方法见Claude Code 自定义 API 与 Codex、OpenCode 接口地址配置。

场景二:团队内部工具

  1. 公司要求合同、发票、数据处理协议?是 → 云厂商托管优先。
  2. 内部工具对延迟敏感(例如补全)?是 → 在部署机房实测入口延迟,把 p95 而不是平均值作为门槛。
  3. 用量大且任务难度差异大?考虑按任务分流到不同档次的模型,并按你的真实输入输出比例算账,做法见多模型路由怎么做。

场景三:对外产品

  1. 至少准备两条接入路径,一主一备。主路径出问题时能切到备路径,比押在单一来源上更可靠。
  2. 每条路径都要有自己的监控:你自己的真实请求成功率,加上外部探测(例如 cdnping API 状态提供的开放数据 /api/status,CC BY 4.0)。
  3. 价格和模型会变。订阅官网动态的 RSS,跟踪官方更新日志和价格页的变化,具体方法见大模型 API 价格变了怎么第一时间知道。

一张可以打印的检查清单

选定候选之后逐项打勾,有一项答不上来就先别上生产:

  • 用自己的网络和部署机房测过首次连接、往返和 TTFT,各取 10 次以上中位数
  • 知道可用率的分母和失败口径,能拿到原始数据或状态页历史
  • 按自己的输入输出比例、缓存命中率算过月成本,而不是只比单价
  • 读过数据政策原文:是否保留、保留多久、是否训练
  • 支付方式、币种、发票满足财务要求
  • 现有工具和 SDK 只改配置能跑通,不需要重写调用层
  • 有备用路径和切换方式,切换演练过一次
  • 订阅了价格和模型变更的通知

相关文章

继续阅读