Läuft Qwen2.5-32B-Instruct auf DGX Spark?
Ja, mit Luft Qwen2.5-32B-Instruct mit BF16 braucht 63,65 GiB–65,59 GiB bei 8.192 Tokens Kontext. Die DGX Spark (GB10) hat etwa 112 GiB nutzbar.
17 Dateien, zusammen 65,5 GB.
Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir
Wie viel Luft bleibt
- Es passt auch mit dem vollen Kontextfenster des Modells von 32.768 Tokens.
Andere Dateien auf dieser Karte
| Quantisierung | Dateigröße | Engine | Summe | Passung |
|---|---|---|---|---|
| BF16 safetensors Aktuelles Setup | 65,5 GB | vllm | 63,7 GiB–65,6 GiB | Läuft mit Luft |
| GGUF Q8_0 (Qwen) | 34,8 GB | llama.cpp | 34,6 GiB–35,7 GiB | Läuft mit Luft |
| GGUF Q6_K (Qwen) | 26,9 GB | llama.cpp | 27,2 GiB–28,2 GiB | Läuft mit Luft |
| GGUF Q5_K_M (Qwen) | 23,3 GB | llama.cpp | 23,8 GiB–24,7 GiB | Läuft mit Luft |
| GGUF Q4_K_M | 19,9 GB | llama.cpp | 20,6 GiB–21,5 GiB | Läuft mit Luft |
Gleicher Kontext (8.192 Tokens), ein Chat gleichzeitig, jede Datei mit ihrer üblichen Engine.
Verwendetes Setup
- ModellQwen2.5-32B-Instruct
- HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
- QuantisierungBF16 safetensors
- Kontextlänge (zwischengespeicherte Tokens)8.192
- Laufzeit
vllm - Gleichzeitige Sequenzen1
- KV-Cache-Typfp16
Technische Kennungen und Freigabedaten
- Modell
qwen2.5-32b-instruct - Hardware
nvidia-dgx-spark-128gb-unified - Quantisierung
bf16 - Freigabecode für dieses Setup
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtMzJiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1kZ3gtc3BhcmstMTI4Z2ItdW5pZmllZCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJ2bGxtIiwia3ZUeXBlIjoiZnAxNiJ9fQ
So kommt die Zahl zustande
Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.
- Gewichte (Datei)
- 61,03 GiB (65.527.752.704 bytes)
- KV-Cache
- 2,00 GiB (2.147.483.648 bytes)
- Laufzeitpuffer
- 0,63 GiB–2,56 GiB
- Summe
- 63,65 GiB–65,59 GiB
- Nutzbarer Speicher
- 112,00 GiB
- Reserve für System / Anzeige
- 16,00 GiB
- Rest
- 46,41 GiB–48,35 GiB
obere Schätzung 65,59 GiB bei 112,00 GiB verfügbar
Unified Memory ist ein gemeinsamer Speicher. Arbeitsspeicher kommt nicht obendrauf, und mehrere Rechner sind kein gemeinsamer Speicher.
- Der Kontext liegt im nativen Fenster von 32768 Tokens.
- Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
- Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
- Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
- Gewichtbytes stammen aus 17 veröffentlichten Safetensors-Shards, zusammen 65527752704 Bytes.
- Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
- Die KV-Präzision hängt nicht von der Quantisierung der Gewichte ab, solange Sie sie nicht ändern.
Verwandte Seiten
Quellen
- Qwen2.5-32B-Instruct model card
- config.json — revision 5ede1c97bbab6ce5cda5812749b4c0bdf79b18dd
- safetensors index — metadata.total_size=65527752704
- Artifact repo Qwen/Qwen2.5-32B-Instruct-GGUF
- NVIDIA DGX Spark product page — 128 GB gemeinsamer Speicher für CPU und GPU, kein dedizierter VRAM. Die Standardreserve ist für Betriebssystem und andere Prozesse gedacht. Mehrere Sparks ergeben keinen gemeinsamen Speicher.
- NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.
Rechner
Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.
Katalog-Snapshot wird geladen…
Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.