見積もりが実測と合った箇所と、まだ測定していない箇所
このページの社内校正は 3 件です。 比較した行は Qwen2.5-3B-Instruct で、ハードウェアは GeForce RTX 4090 24GB (desktop) です。 比べる対象は予測した合計バイトと実測したプロセスのメモリであり、基板全体の使用量ではありません。 各行は別々のままにし、一つの誤差の数字にはまとめません。 実測バイトがなく計画だけのものは、Qwen2.5-7B-Instruct、Qwen2.5-32B-Instruct、NVIDIA DGX Spark (GB10, 128 GB unified) です。
実測した校正
| 校正 | モデル | ハードウェア | エンジン | 量子化 | コンテキスト | 取得時刻 | 実測プロセスバイト | 予測下限 | 予測上限 | 実測から下限を引いた値 | 実測から上限を引いた値 | 証拠のパス |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
rt-qwen2.5-3b-instruct-q4km-4090-ctx512 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 5121 · fp16 | 2,485,125,120 バイト 2.31 GiB 予測範囲の内側 | 2,258,024,864 バイト 2.10 GiB | 2,703,154,191 バイト 2.52 GiB | +227,100,256 バイト +0.21 GiB | -218,029,071 バイト −0.20 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx512.json | |
rt-qwen2.5-3b-instruct-q4km-4090-ctx2048 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 2,0481 · fp16 | 2,543,845,376 バイト 2.37 GiB 予測範囲の内側 | 2,314,647,968 バイト 2.16 GiB | 2,760,909,757 バイト 2.57 GiB | +229,197,408 バイト +0.21 GiB | -217,064,381 バイト −0.20 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx2048.json | |
rt-qwen2.5-3b-instruct-q4km-4090-ctx8192 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 8,1921 · fp16 | 2,776,629,248 バイト 2.59 GiB 予測範囲の内側 | 2,541,140,384 バイト 2.37 GiB | 3,007,031,516 バイト 2.80 GiB | +235,488,864 バイト +0.22 GiB | -230,402,268 バイト −0.21 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx8192.json |
計画のみで未測定
| 校正 | 計画番号 | モデル | ハードウェア | 量子化 | 状態 | メモ |
|---|---|---|---|---|---|---|
planned-qwen2.5-7b-instruct-q4km-4090 | P-01 | Qwen2.5-7B-Instruct | GeForce RTX 4090 24GB (desktop) | gguf-q4_k_m | 計画 | BENCHMARKS.md Planned Run Plan P-01. Not a measured calibration. |
planned-qwen2.5-32b-instruct-q4km-4090 | P-02 | Qwen2.5-32B-Instruct | GeForce RTX 4090 24GB (desktop) | gguf-q4_k_m | 計画 | BENCHMARKS.md Planned Run Plan P-02. Not a measured calibration. |
planned-dgx-spark-unified-memory | P-03 | — | NVIDIA DGX Spark (GB10, 128 GB unified) | — | 計画 | BENCHMARKS.md Planned Run Plan P-03. Not a measured calibration. |
コミュニティレシピの基準
下の各行はレシピファイルに既にあるコミュニティレシピの基準です。実験室の校正ではありません。速度の数値は校正表に入れません。
| 状態 | 校正 | 指標 | 値 | 単位 | 出典 |
|---|---|---|---|---|---|
| コミュニティレシピの基準 | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 31.6 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 42.5 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 42.8 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-2x-spark-exl3 | prefill-tok-s | 1,054.7 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-2x-spark-exl3 | prefill-tok-s | 872.6 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 37.9 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 58.9 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 71.2 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 78.6 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 45.4 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 72.9 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 103.1 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 114.1 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 134.2 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,350 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,782 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,768 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,531 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3,251 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 75.4 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 104.9 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 164.5 | tok/s | 出典 |
| コミュニティレシピの基準 | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 191.2 | tok/s | 出典 |
| コミュニティレシピの基準 | qwen3.8-27b-rtx5090-32gb-nvfp4 | decode-tok-s | 160 | tok/s | 出典 |