Läuft Qwen3-32B auf H100?
Gerade so Qwen3-32B mit BF16 braucht 69,65 GiB–71,76 GiB bei 32.768 Tokens Kontext. Die H100 hat etwa 78 GiB nutzbar.
17 Dateien, zusammen 65,5 GB.
Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir
Was du ändern kannst
- Kürze den Kontext auf etwa 25.600 Tokens, dann passt es sauber.
- Nimm stattdessen GGUF Q8_0 (Qwen): etwa 42,1 GiB bei gleichem Kontext (Läuft mit Luft).
- Schließe andere Programme, die Grafikspeicher belegen, oder senke die Reserve, wenn der Rechner ohne Bildschirm läuft.
Andere Dateien auf dieser Karte
| Quantisierung | Dateigröße | Engine | Summe | Passung |
|---|---|---|---|---|
| BF16 safetensors Aktuelles Setup | 65,5 GB | vllm | 69,6 GiB–71,8 GiB | Knapp |
| GGUF Q8_0 (Qwen) | 34,8 GB | llama.cpp | 40,6 GiB–42,1 GiB | Läuft mit Luft |
| GGUF Q6_K (Qwen) | 26,9 GB | llama.cpp | 33,2 GiB–34,6 GiB | Läuft mit Luft |
| GGUF Q5_K_M (Qwen) | 23,2 GB | llama.cpp | 29,7 GiB–31,1 GiB | Läuft mit Luft |
| GGUF Q4_K_M | 19,8 GB | llama.cpp | 26,5 GiB–27,8 GiB | Läuft mit Luft |
Gleicher Kontext (32.768 Tokens), ein Chat gleichzeitig, jede Datei mit ihrer üblichen Engine.
Verwendetes Setup
- ModellQwen3-32B
- HardwareNVIDIA H100 80GB SXM
- QuantisierungBF16 safetensors
- Kontextlänge (zwischengespeicherte Tokens)32.768
- Laufzeit
vllm - Gleichzeitige Sequenzen1
- KV-Cache-Typfp16
Technische Kennungen und Freigabedaten
- Modell
qwen3-32b - Hardware
nvidia-h100-80gb-sxm - Quantisierung
bf16 - Freigabecode für dieses Setup
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLTMyYiIsImhhcmR3YXJlSWQiOiJudmlkaWEtaDEwMC04MGdiLXN4bSIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjozMjc2OCwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0
So kommt die Zahl zustande
Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.
- Gewichte (Datei)
- 61,02 GiB (65.524.246.528 bytes)
- KV-Cache
- 8,00 GiB (8.589.934.592 bytes)
- Laufzeitpuffer
- 0,63 GiB–2,74 GiB
- Summe
- 69,65 GiB–71,76 GiB
- Nutzbarer Speicher
- 78,00 GiB
- Reserve für System / Anzeige
- 2,00 GiB
- Rest
- 6,24 GiB–8,35 GiB
obere Schätzung 71,76 GiB bei 78,00 GiB verfügbar
Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
- Der Kontext liegt im nativen Fenster von 40960 Tokens.
- Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
- Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
- Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
- Gewichtbytes stammen aus 17 veröffentlichten Safetensors-Shards, zusammen 65524246528 Bytes.
- Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
- Die KV-Präzision hängt nicht von der Quantisierung der Gewichte ab, solange Sie sie nicht ändern.
Verwandte Seiten
Quellen
- Qwen3-32B model card
- config.json — revision 9216db5781bf21249d130ec9da846c4624c16137
- safetensors index — metadata.total_size=65524246528
- Artifact repo Qwen/Qwen3-32B-GGUF
- NVIDIA H100 product page — H100 SXM GPU Memory 80GB
Rechner
Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.
Katalog-Snapshot wird geladen…
Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.