gpt-oss-20b: VRAM- und Speicherbedarf
Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. MXFP4 safetensors: 13,63 GiB–15,51 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, vllm.
Herausgeber und Herkunft
- AnbieterOpenAI
- Hugging Face
openai/gpt-oss-20b - Revision
6cee5e81ee83917806bbde320786a8fb61efebee - Parameter gesamt20.914.757.184
- Aktive Parameter3.600.000.000
- Schichten24
- Query-Köpfe64
- KV-Köpfe8 (sliding-window)
- Kopfdimension64
- Dokumentierte Kontextfähigkeit131.072
- Vollständigkeitcomplete · full
Dieses MoE nennt 20.914.757.184 Gesamt- und 3.600.000.000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz. Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
Speicherschichten in dieser Schätzung
Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.
- Weight artifact
- 12,82 GiB (13.761.264.768 bytes)
- Raw KV cache
- 0,19 GiB (204.472.320 bytes)
- Engine extras / workspace
- 0,63 GiB–2,51 GiB
- Total estimated demand
- 13,63 GiB–15,51 GiB
Gewählte Dateien
| Quantisierung | Gewählte Dateien | Bytes | Laufzeit | Beleg |
|---|---|---|---|---|
| MXFP4 safetensors mxfp4 | model-00000-of-00002.safetensors, model-00001-of-00002.safetensors, model-00002-of-00002.safetensors | 13.761.264.768 (12,82 GiB / 13,76 GB) | vllm, unspecified | file-metadata |
| INT4 theoretical | Keine veröffentlichte Datei | 10.457.378.592 (Theoretische Zeilen sind keine herunterladbaren Artefakte.) | — | theoretical |
Speicher nach Quantisierung und Kontext
Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.
| Quantisierung | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| MXFP4 safetensors | 13,49 GiB–15,37 GiB | 13,63 GiB–15,51 GiB | 14,19 GiB–16,09 GiB |
| INT4 theoretical Theoretische Zeilen sind keine herunterladbaren Artefakte. | 9,91 GiB–13,18 GiB | 10,05 GiB–13,35 GiB | 10,62 GiB–14,05 GiB |
KV-Cache (Rohdaten)
Verwandte Seiten
Quellen
- gpt-oss-20b model card
- config.json — revision 6cee5e81ee83917806bbde320786a8fb61efebee
- safetensors index — metadata.total_size=13761264768
Annahmen, die das Ergebnis beeinflussen
- Der Kontext liegt im dokumentierten nativen Fenster von 131072 Tokens.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Dieses MoE nennt 20914757184 Gesamt- und 3600000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Berücksichtigte Dateien: model-00000-of-00002.safetensors, model-00001-of-00002.safetensors, model-00002-of-00002.safetensors.
- Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
Rechner
Katalog-Snapshot wird geladen…
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.