gpt-oss-120b: VRAM- und Speicherbedarf
Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. MXFP4 safetensors: 61,68 GiB–63,56 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, vllm.
Herausgeber und Herkunft
- AnbieterOpenAI
- Hugging Face
openai/gpt-oss-120b - Revision
b5c939de8f754692c1647ca79fbf85e8c1e70f8a - Parameter gesamt116.829.156.672
- Aktive Parameter5.100.000.000
- Schichten36
- Query-Köpfe64
- KV-Köpfe8 (sliding-window)
- Kopfdimension64
- Dokumentierte Kontextfähigkeit131.072
- Vollständigkeitcomplete · full
Dieses MoE nennt 116.829.156.672 Gesamt- und 5.100.000.000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz. Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
Speicherschichten in dieser Schätzung
Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.
- Weight artifact
- 60,77 GiB (65.248.815.744 bytes)
- Raw KV cache
- 0,29 GiB (306.708.480 bytes)
- Engine extras / workspace
- 0,63 GiB–2,51 GiB
- Total estimated demand
- 61,68 GiB–63,56 GiB
Gewählte Dateien
| Quantisierung | Gewählte Dateien | Bytes | Laufzeit | Beleg |
|---|---|---|---|---|
| MXFP4 safetensors mxfp4 | 65.248.815.744 (60,77 GiB / 65,25 GB) | vllm, unspecified | file-metadata | |
| INT4 theoretical | Keine veröffentlichte Datei | 58.414.578.336 (Theoretische Zeilen sind keine herunterladbaren Artefakte.) | — | theoretical |
Speicher nach Quantisierung und Kontext
Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.
| Quantisierung | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| MXFP4 safetensors | 61,47 GiB–63,34 GiB | 61,68 GiB–63,56 GiB | 62,52 GiB–64,43 GiB |
| INT4 theoretical Theoretische Zeilen sind keine herunterladbaren Artefakte. | 54,60 GiB–70,73 GiB | 54,81 GiB–71,00 GiB | 55,66 GiB–72,04 GiB |
KV-Cache (Rohdaten)
Verwandte Seiten
Quellen
- gpt-oss-120b model card
- config.json — revision b5c939de8f754692c1647ca79fbf85e8c1e70f8a
- safetensors index — metadata.total_size=65248815744
Annahmen, die das Ergebnis beeinflussen
- Der Kontext liegt im dokumentierten nativen Fenster von 131072 Tokens.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Dieses MoE nennt 116829156672 Gesamt- und 5100000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Gewichtbytes stammen aus 15 veröffentlichten Safetensors-Shards, zusammen 65248815744 Bytes.
- Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
Rechner
Katalog-Snapshot wird geladen…
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.