#模型量化

模型變笨還是換了供應商：推理供應商與 fp8、fp4 模型量化

同一模型時好時壞，常和推理供應商的模型量化精度有關。本文用 cdnping 採集的 OpenRouter 快照統計 137 個端點的 fp8、fp4、int4 分佈，並給出鎖定精度和排查變笨的步驟。