估算与实测相符之处，以及尚未测量之处
本页列出 3 条内部校准。 已对照的行是 Qwen2.5-3B-Instruct，硬件是 GeForce RTX 4090 24GB (desktop)。 对照的是预测总字节和实测进程显存字节，不是整卡已用字节。 这些行各自保留，不合成一个误差数字。 没有实测字节、只标为计划的是：Qwen2.5-7B-Instruct、Qwen2.5-32B-Instruct、NVIDIA DGX Spark (GB10, 128 GB unified)。
已测校准
| 校准 | 模型 | 硬件 | 引擎 | 量化 | 上下文 | 采集时间 | 实测进程字节 | 预测下限 | 预测上限 | 实测减下限 | 实测减上限 | 证据路径 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
rt-qwen2.5-3b-instruct-q4km-4090-ctx512 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 5121 · fp16 | 2,485,125,120 字节 2.31 GiB 落在预测区间内 | 2,258,024,864 字节 2.10 GiB | 2,703,154,191 字节 2.52 GiB | +227,100,256 字节 +0.21 GiB | -218,029,071 字节 −0.20 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx512.json | |
rt-qwen2.5-3b-instruct-q4km-4090-ctx2048 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 2,0481 · fp16 | 2,543,845,376 字节 2.37 GiB 落在预测区间内 | 2,314,647,968 字节 2.16 GiB | 2,760,909,757 字节 2.57 GiB | +229,197,408 字节 +0.21 GiB | -217,064,381 字节 −0.20 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx2048.json | |
rt-qwen2.5-3b-instruct-q4km-4090-ctx8192 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 8,1921 · fp16 | 2,776,629,248 字节 2.59 GiB 落在预测区间内 | 2,541,140,384 字节 2.37 GiB | 3,007,031,516 字节 2.80 GiB | +235,488,864 字节 +0.22 GiB | -230,402,268 字节 −0.21 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx8192.json |
计划中，尚未实测
| 校准 | 计划编号 | 模型 | 硬件 | 量化 | 状态 | 说明 |
|---|---|---|---|---|---|---|
planned-qwen2.5-7b-instruct-q4km-4090 | P-01 | Qwen2.5-7B-Instruct | GeForce RTX 4090 24GB (desktop) | gguf-q4_k_m | 计划 | BENCHMARKS.md Planned Run Plan P-01. Not a measured calibration. |
planned-qwen2.5-32b-instruct-q4km-4090 | P-02 | Qwen2.5-32B-Instruct | GeForce RTX 4090 24GB (desktop) | gguf-q4_k_m | 计划 | BENCHMARKS.md Planned Run Plan P-02. Not a measured calibration. |
planned-dgx-spark-unified-memory | P-03 | — | NVIDIA DGX Spark (GB10, 128 GB unified) | — | 计划 | BENCHMARKS.md Planned Run Plan P-03. Not a measured calibration. |
社区配方基准
下面每一行都是配方文件里已有的社区配方基准，不是实验室校准。速度数值不进入校准表。
| 状态 | 校准 | 指标 | 数值 | 单位 | 来源 |
|---|---|---|---|---|---|
| 社区配方基准 | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 31.6 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 42.5 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 42.8 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-2x-spark-exl3 | prefill-tok-s | 1,054.7 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-2x-spark-exl3 | prefill-tok-s | 872.6 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 37.9 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 58.9 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 71.2 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 78.6 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 45.4 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 72.9 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 103.1 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 114.1 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 134.2 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,350 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,782 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,768 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,531 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,251 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 75.4 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 104.9 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 164.5 | tok/s | 来源 |
| 社区配方基准 | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 191.2 | tok/s | 来源 |
| 社区配方基准 | qwen3.8-27b-rtx5090-32gb-nvfp4 | decode-tok-s | 160 | tok/s | 来源 |