Läuft Qwen2.5-72B-Instruct auf DGX Spark?
Ja, mit Luft Qwen2.5-72B-Instruct mit Q4_K_M braucht 43,61 GiB–44,98 GiB bei 8.192 Tokens Kontext. Die DGX Spark (GB10) hat etwa 112 GiB nutzbar.
12 Dateien, zusammen 44,0 GB.
Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir
Wie viel Luft bleibt
- Es passt auch mit dem vollen Kontextfenster des Modells von 32.768 Tokens.
- Auch eine größere Datei passt: GGUF Q8_0 (Qwen) braucht etwa 76,8 GiB (Läuft mit Luft).
Andere Dateien auf dieser Karte
| Quantisierung | Dateigröße | Engine | Summe | Passung |
|---|---|---|---|---|
| BF16 safetensors | 145,4 GB | vllm | 138,6 GiB–140,5 GiB | Passt nicht |
| GGUF Q8_0 (Qwen) | 77,5 GB | llama.cpp | 74,8 GiB–76,8 GiB | Läuft mit Luft |
| GGUF Q6_K (Qwen) | 59,9 GB | llama.cpp | 58,4 GiB–60,0 GiB | Läuft mit Luft |
| GGUF Q5_K_M (Qwen) | 51,7 GB | llama.cpp | 50,8 GiB–52,3 GiB | Läuft mit Luft |
| GGUF Q4_K_M Aktuelles Setup | 44,0 GB | llama.cpp | 43,6 GiB–45,0 GiB | Läuft mit Luft |
Gleicher Kontext (8.192 Tokens), ein Chat gleichzeitig, jede Datei mit ihrer üblichen Engine.
Verwendetes Setup
- ModellQwen2.5-72B-Instruct
- HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
- QuantisierungGGUF Q4_K_M
- Kontextlänge (zwischengespeicherte Tokens)8.192
- Laufzeit
llama.cpp - Gleichzeitige Sequenzen1
- KV-Cache-Typfp16
Technische Kennungen und Freigabedaten
- Modell
qwen2.5-72b-instruct - Hardware
nvidia-dgx-spark-128gb-unified - Quantisierung
gguf-q4_k_m - Freigabecode für dieses Setup
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtNzJiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1kZ3gtc3BhcmstMTI4Z2ItdW5pZmllZCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
So kommt die Zahl zustande
Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.
- Gewichte (Datei)
- 40,99 GiB (44.010.465.472 bytes)
- KV-Cache
- 2,50 GiB (2.684.354.560 bytes)
- Laufzeitpuffer
- 0,13 GiB–1,49 GiB
- Summe
- 43,61 GiB–44,98 GiB
- Nutzbarer Speicher
- 112,00 GiB
- Reserve für System / Anzeige
- 16,00 GiB
- Rest
- 67,02 GiB–68,39 GiB
obere Schätzung 44,98 GiB bei 112,00 GiB verfügbar
Unified Memory ist ein gemeinsamer Speicher. Arbeitsspeicher kommt nicht obendrauf, und mehrere Rechner sind kein gemeinsamer Speicher.
- Der Kontext liegt im nativen Fenster von 32768 Tokens.
- Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
- Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
- Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
- Gewichtbytes stammen aus 12 veröffentlichten Safetensors-Shards, zusammen 44010465472 Bytes.
- Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
- Die KV-Präzision hängt nicht von der Quantisierung der Gewichte ab, solange Sie sie nicht ändern.
Verwandte Seiten
Quellen
- Qwen2.5-72B-Instruct model card
- config.json — revision 495f39366efef23836d0cfae4fbe635880d2be31
- safetensors index — metadata.total_size=145412407296
- Artifact repo Qwen/Qwen2.5-72B-Instruct-GGUF
- NVIDIA DGX Spark product page — 128 GB gemeinsamer Speicher für CPU und GPU, kein dedizierter VRAM. Die Standardreserve ist für Betriebssystem und andere Prozesse gedacht. Mehrere Sparks ergeben keinen gemeinsamen Speicher.
- NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.
Rechner
Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.
Katalog-Snapshot wird geladen…
Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.