Onde a estimativa coincidiu com uma medição e onde ainda não foi medida
Esta página lista 3 calibrações internas. As linhas comparadas são Qwen2.5-3B-Instruct em GeForce RTX 4090 24GB (desktop). A comparação é entre os bytes totais previstos e os bytes medidos do processo, não os bytes ocupados da placa. As linhas ficam separadas. Elas não viram um único número de erro. Planejado e sem bytes medidos: Qwen2.5-7B-Instruct, Qwen2.5-32B-Instruct e NVIDIA DGX Spark (GB10, 128 GB unified).
Calibrações medidas
| Calibração | Modelo | Hardware | Motor | Quantização | Contexto | Captura | Bytes medidos do processo | Mínimo previsto | Máximo previsto | Medido menos o mínimo | Medido menos o máximo | Caminho da evidência |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
rt-qwen2.5-3b-instruct-q4km-4090-ctx512 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 5121 · fp16 | 2.485.125.120 bytes 2,31 GiB Dentro da faixa prevista | 2.258.024.864 bytes 2,10 GiB | 2.703.154.191 bytes 2,52 GiB | +227.100.256 bytes +0,21 GiB | -218.029.071 bytes −0,20 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx512.json | |
rt-qwen2.5-3b-instruct-q4km-4090-ctx2048 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 2.0481 · fp16 | 2.543.845.376 bytes 2,37 GiB Dentro da faixa prevista | 2.314.647.968 bytes 2,16 GiB | 2.760.909.757 bytes 2,57 GiB | +229.197.408 bytes +0,21 GiB | -217.064.381 bytes −0,20 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx2048.json | |
rt-qwen2.5-3b-instruct-q4km-4090-ctx8192 | Qwen2.5-3B-Instruct | GeForce RTX 4090 24GB (desktop) | llama.cppversion: 0.4.1-dev (build 1, commit 1af554f) | GGUF Q4_K_Mgguf-q4_k_m | 8.1921 · fp16 | 2.776.629.248 bytes 2,59 GiB Dentro da faixa prevista | 2.541.140.384 bytes 2,37 GiB | 3.007.031.516 bytes 2,80 GiB | +235.488.864 bytes +0,22 GiB | -230.402.268 bytes −0,21 GiB | docs/evidence/calibrations/rt-qwen2.5-3b-instruct-q4km-4090-ctx8192.json |
Planejado, não medido
| Calibração | Plano | Modelo | Hardware | Quantização | Estado | Nota |
|---|---|---|---|---|---|---|
planned-qwen2.5-7b-instruct-q4km-4090 | P-01 | Qwen2.5-7B-Instruct | GeForce RTX 4090 24GB (desktop) | gguf-q4_k_m | Planejado | BENCHMARKS.md Planned Run Plan P-01. Not a measured calibration. |
planned-qwen2.5-32b-instruct-q4km-4090 | P-02 | Qwen2.5-32B-Instruct | GeForce RTX 4090 24GB (desktop) | gguf-q4_k_m | Planejado | BENCHMARKS.md Planned Run Plan P-02. Not a measured calibration. |
planned-dgx-spark-unified-memory | P-03 | — | NVIDIA DGX Spark (GB10, 128 GB unified) | — | Planejado | BENCHMARKS.md Planned Run Plan P-03. Not a measured calibration. |
Benchmarks de receitas da comunidade
Cada linha abaixo é um benchmark comunitário copiado do arquivo de receitas. Não é uma calibração de laboratório. A velocidade não entra na tabela de calibração.
| Estado | Calibração | Métrica | Valor | Unidade | Fonte |
|---|---|---|---|---|---|
| Benchmark comunitário | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 31,6 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 42,5 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-2x-spark-exl3 | decode-tok-s | 42,8 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-2x-spark-exl3 | prefill-tok-s | 1.054,7 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-2x-spark-exl3 | prefill-tok-s | 872,6 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 37,9 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 58,9 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 71,2 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-3x-spark-sglang | decode-tok-s | 78,6 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 45,4 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 72,9 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 103,1 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 114,1 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | decode-tok-s | 134,2 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.350 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.782 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.768 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.531 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4.1-flash-4x-spark-full-context | prefill-tok-s | 3.251 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 75,4 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 104,9 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 164,5 | tok/s | Fonte |
| Benchmark comunitário | deepseek-v4-flash-0731-2x-spark-dspark | decode-tok-s | 191,2 | tok/s | Fonte |
| Benchmark comunitário | qwen3.8-27b-rtx5090-32gb-nvfp4 | decode-tok-s | 160 | tok/s | Fonte |