Wo die Schätzung zu einer Messung passte und wo noch nicht gemessen wurde
3 interne Kalibrierungen stehen auf dieser Seite. Die verglichenen Zeilen sind Qwen2.5-3B-Instruct auf GeForce RTX 4090 24GB (desktop). Verglichen werden die vorhergesagten Gesamtbytes mit den gemessenen Prozess-Bytes, nicht mit den belegten Bytes der ganzen Karte. Die Zeilen bleiben einzeln. Sie werden nicht zu einer einzigen Fehlerzahl zusammengezogen. Geplant und ohne gemessene Bytes: Qwen2.5-7B-Instruct, Qwen2.5-32B-Instruct und NVIDIA DGX Spark (GB10, 128 GB unified).
Gemessene Kalibrierungen
| Kalibrierung | Modell | Hardware | Engine | Quantisierung | Kontext | Erfasst | Gemessene Prozess-Bytes | Vorhergesagte Untergrenze | Vorhergesagte Obergrenze | Gemessen minus Untergrenze | Gemessen minus Obergrenze | Nachweispfad |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
rt-qwen2.5-3b-instruct-q4km-4090-ctx512 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 5121 · fp16 | 2.485.125.120 Bytes 2,31 GiB Im vorhergesagten Bereich | 2.258.024.864 Bytes 2,10 GiB | 2.703.154.191 Bytes 2,52 GiB | +227.100.256 Bytes +0,21 GiB | -218.029.071 Bytes −0,20 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx512.json | |
rt-qwen2.5-3b-instruct-q4km-4090-ctx2048 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 2.0481 · fp16 | 2.543.845.376 Bytes 2,37 GiB Im vorhergesagten Bereich | 2.314.647.968 Bytes 2,16 GiB | 2.760.909.757 Bytes 2,57 GiB | +229.197.408 Bytes +0,21 GiB | -217.064.381 Bytes −0,20 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx2048.json | |
rt-qwen2.5-3b-instruct-q4km-4090-ctx8192 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 8.1921 · fp16 | 2.776.629.248 Bytes 2,59 GiB Im vorhergesagten Bereich | 2.541.140.384 Bytes 2,37 GiB | 3.007.031.516 Bytes 2,80 GiB | +235.488.864 Bytes +0,22 GiB | -230.402.268 Bytes −0,21 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx8192.json |
Geplant, nicht gemessen
| Kalibrierung | Plan | Modell | Hardware | Quantisierung | Status | Notiz |
|---|---|---|---|---|---|---|
planned-qwen2.5-7b-instruct-q4km-4090 | P-01 | Qwen2.5-7B-Instruct | GeForce RTX 4090 24GB (desktop) | gguf-q4_k_m | Geplant | BENCHMARKS.md Planned Run Plan P-01. Not a measured calibration. |
planned-qwen2.5-32b-instruct-q4km-4090 | P-02 | Qwen2.5-32B-Instruct | GeForce RTX 4090 24GB (desktop) | gguf-q4_k_m | Geplant | BENCHMARKS.md Planned Run Plan P-02. Not a measured calibration. |
planned-dgx-spark-unified-memory | P-03 | — | NVIDIA DGX Spark (GB10, 128 GB unified) | — | Geplant | BENCHMARKS.md Planned Run Plan P-03. Not a measured calibration. |
Community-Rezept-Benchmarks
Jede Zeile unten ist ein Community-Rezept-Benchmark aus der Rezeptdatei. Das ist keine Laborkalibrierung. Die Geschwindigkeit steht nicht in der Kalibrierungstabelle.
| Status | Kalibrierung | Metrik | Wert | Einheit | Quelle |
|---|---|---|---|---|---|
| Community-Rezept-Benchmark | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 31,6 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 42,5 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 42,8 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-2x-spark-exl3 | prefill-tok-s | 1.054,7 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-2x-spark-exl3 | prefill-tok-s | 872,6 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 37,9 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 58,9 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 71,2 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 78,6 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 45,4 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 72,9 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 103,1 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 114,1 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 134,2 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.350 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.782 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.768 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.531 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.251 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 75,4 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 104,9 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 164,5 | tok/s | Quelle |
| Community-Rezept-Benchmark | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 191,2 | tok/s | Quelle |
| Community-Rezept-Benchmark | qwen3.8-27b-rtx5090-32gb-nvfp4 | decode-tok-s | 160 | tok/s | Quelle |