Lokale LLMs für DGX Spark GB10 (128 GB unified): Was passt?

Der DGX Spark (GB10) hat 128 GB LPDDR5x coherent unified system memory, die sich CPU und GPU teilen. Nach 16 GiB Reserve für das System bleiben etwa 112 GiB für ein Modell. Bei 8K Kontext ist das größte Modell aus unserer Liste, das passt, gpt-oss-120b mit MXFP4 (etwa 62,8 GiB). Qwen3.8-Flash-Next mit Q4_K_M wird knapp (etwa 111,8 GiB–131,5 GiB).

Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir

Welche Modelle bei 8K passen

Jedes Modell nutzt die genaueste Datei, die passt, ein Chat gleichzeitig.

Passt (65)

ModellQuantisierungSumme
GLM-4.5-AirGGUF Q6_K (Unsloth)93,8 GiB–96,1 GiB
Qwen3-Next-80B-A3B-InstructGGUF Q8_0 (Qwen)79,9 GiB–81,9 GiB
Qwen2.5-72B-InstructGGUF Q8_0 (Qwen)74,8 GiB–76,8 GiB
Llama-3.1-Nemotron-70B-Instruct-HFGGUF Q8_0 (bartowski)72,5 GiB–74,4 GiB
gpt-oss-120bMXFP4 safetensors61,2 GiB–62,8 GiB
Mixtral-8x7B-Instruct-v0.1GGUF Q8_0 (mradermacher)47,3 GiB–48,7 GiB
Qwen2.5-32B-InstructGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
Qwen2.5-VL-32B-InstructGGUF Q8_0 (mradermacher)34,6 GiB–35,7 GiB
Qwen2.5-Coder-32B-InstructGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
QwQ-32BGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
DeepSeek-R1-Distill-Qwen-32BGGUF Q8_0 (Unsloth)34,6 GiB–35,7 GiB
OpenMath-Nemotron-32BGGUF Q8_0 (mradermacher)34,6 GiB–35,7 GiB
Qwen3-32BGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
Qwen3.8-27BGGUF Q8_0 (Unsloth)27,8 GiB–33,1 GiB
Qwen3-VL-30B-A3B-InstructGGUF Q8_0 (Qwen)31,1 GiB–32,2 GiB
Qwen3-30B-A3B-Instruct-2507GGUF Q8_0 (Unsloth)31,1 GiB–32,2 GiB
Qwen3-30B-A3BGGUF Q8_031,1 GiB–32,2 GiB
Drama 3Unofficial int4 W4A16 (GPTQ-Marlin, with codec)22,7 GiB–27,0 GiB
Mistral-Small-24B-Instruct-2501GGUF Q8_0 (Unsloth)24,7 GiB–25,6 GiB
DeepSeek-V2-Lite-ChatGGUF Q8_0 (mradermacher)15,9 GiB–19,2 GiB
Gemma 3 27B ITGGUF Q4_0 (Google QAT)17,2 GiB–18,0 GiB
Qwen2.5-14B-InstructGGUF Q8_016,2 GiB–17,0 GiB
Qwen2.5-Coder-14B-InstructGGUF Q8_0 (Qwen)16,2 GiB–17,0 GiB
OpenMath-Nemotron-14BGGUF Q8_0 (mradermacher)16,2 GiB–17,0 GiB
Phi-4-reasoningGGUF Q8_0 (Unsloth)16,2 GiB–17,0 GiB
phi-4GGUF Q8_0 (Microsoft)16,2 GiB–17,0 GiB
Llama 3.1 8B InstructOfficial BF16 safetensors16,1 GiB–16,8 GiB
Qwen3-14BGGUF Q8_0 (Qwen)16,0 GiB–16,8 GiB
Mistral-Nemo-Instruct-2407GGUF Q8_0 (Unsloth)13,5 GiB–14,2 GiB
gpt-oss-20bMXFP4 safetensors13,1 GiB–13,8 GiB
GLM-4-9B-0414GGUF Q8_0 (Unsloth)9,8 GiB–10,3 GiB
granite-3.3-8b-instructGGUF Q8_0 (IBM)9,5 GiB–10,1 GiB
Qwen3-VL-8B-InstructGGUF Q8_0 (Qwen)9,4 GiB–10,0 GiB
Qwen3-8B-BaseGGUF Q8_0 (mradermacher)9,4 GiB–10,0 GiB
Qwen3-8BGGUF Q8_09,4 GiB–10,0 GiB
Qwen2.5-Math-7B-InstructGGUF Q8_0 (bartowski)8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8BGGUF Q8_0 (Unsloth)9,1 GiB–9,7 GiB
Gemma 3 12B ITGGUF Q4_0 (Google QAT)8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3GGUF Q8_0 (bartowski)8,3 GiB–8,9 GiB
Qwen2.5-Coder-7BGGUF Q8_0 (mradermacher)8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-InstructGGUF Q8_0 (Qwen)8,1 GiB–8,7 GiB
Qwen2.5-7B-InstructGGUF Q8_08,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q8_0 (Unsloth)8,1 GiB–8,7 GiB
OpenMath-Nemotron-7BGGUF Q8_0 (mradermacher)8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-InstructGGUF Q8_0 (Unsloth)8,1 GiB–8,7 GiB
Qwen2-7B-InstructGGUF Q8_0 (Qwen)8,1 GiB–8,7 GiB
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)6,9 GiB–7,6 GiB
Llama 3.2 3B InstructOfficial BF16 safetensors7,0 GiB–7,5 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5,2 GiB–5,8 GiB
Qwen3-4BGGUF Q8_05,2 GiB–5,8 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3,8 GiB–4,2 GiB
Qwen2.5-3B-InstructGGUF Q8_03,8 GiB–4,2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3,5 GiB–3,9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3,3 GiB–3,8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3,3 GiB–3,8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2,7 GiB–3,2 GiB
Qwen3-1.7BGGUF Q8_02,7 GiB–3,2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1,6 GiB–2,0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1,1 GiB–1,5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0,8 GiB–1,2 GiB

Knapp (1)

ModellQuantisierungSumme
Qwen3.8-Flash-NextGGUF Q4_K_M (bartowski)111,8 GiB–131,5 GiB
Passt nicht (20)

Einzelne Kombinationen

Bekannte Setups auf dieser Hardware

4 bekannte Setups

Setups, die Maintainer und Community auf dieser Hardware tatsächlich zum Laufen gebracht haben.

DeepSeek-V4.1-Flash
2× NVIDIA DGX Spark (GB10, 128 GB unified)
Vom Upstream-Maintainer gemessen
Quantisierung:EXL3 2.9 bpw (mul1)(2.9 bpw)
Laufzeitumgebung:vLLM· TP2
Auslagerung:Engram n-gram tables (shards 47+48) → NVME
Getestet:
  • ✓ Generierung
  • ✓ 262,144 Kontext
  • ✓ Werkzeugaufruf
  • ✓ Bild
  • ✓ spekulative Dekodierung
Gemessen:31.6 tok/s· 1 Streaming

Geprüftes Setup. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗
DeepSeek-V4.1-Flash
3× NVIDIA DGX Spark (GB10, 128 GB unified)
Vom Upstream-Maintainer gemessen
Quantisierung:Native MXFP4 MoE + FP8 Dense
Laufzeitumgebung:SGLang· TP3
Auslagerung:Engram n-gram tables (189 GiB) → NVME
Getestet:
  • ✓ Generierung
  • ✓ ~208K Getestet (256K cfg)
  • ✓ Werkzeugaufruf
  • ✓ Bild
  • ✓ spekulative Dekodierung
Gemessen:37.9 tok/s· 1 Streaming

Geprüftes Setup. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗
DeepSeek-V4.1-Flash
4× NVIDIA DGX Spark (GB10, 128 GB unified)
Vom Upstream-Maintainer gemessen
Quantisierung:Native MXFP4 MoE + FP8 Dense (TP=4)
Laufzeitumgebung:SGLang· TP4
Auslagerung:Engram n-gram tables (189 GiB) → NVME
Getestet:
  • ✓ Generierung
  • ✓ 1,048,576 Kontext
  • ✓ Werkzeugaufruf
  • ✓ Bild
  • ✓ spekulative Dekodierung
Gemessen:45.4 tok/s· 1 Streaming

Geprüftes Setup. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗
DeepSeek-V4-Flash-0731
2× NVIDIA DGX Spark (GB10, 128 GB unified)
Vom Upstream-Maintainer gemessen
Quantisierung:Official FP8 Safetensors
Laufzeitumgebung:vLLM· TP2
Getestet:
  • ✓ Generierung
  • ✓ 1,048,576 Kontext
  • ✓ Werkzeugaufruf
  • ✓ Bild
  • ✓ spekulative Dekodierung
Gemessen:75.4 tok/s· 1 Streaming

Geprüftes Setup. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗

Speicher

Die Reserve ist eine einstellbare Annahme. Auf einem Rechner ohne Bildschirm kannst du sie im Rechner senken.

Unified Memory ist ein gemeinsamer Speicher. Arbeitsspeicher kommt nicht obendrauf, und mehrere Rechner sind kein gemeinsamer Speicher.

Rechner mit dieser Grafikkarte öffnenRechner

Verwandte Seiten

Quellen

Rechner

Katalog-Snapshot wird geladen…

Kontextlänge

Mehr Kontext braucht mehr Speicher für den KV-Cache, das Arbeitsgedächtnis des Modells für die Unterhaltung.

Weitere Optionen
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Aus: GGUF-, Q8- und andere Filter bleiben strikt. Ein: Ersatz mit angefordert, verwendet und Grund.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Wähle eine GPU oder einen Mac, um passende Modelle zu sehen, oder ein Modell, um seinen Speicherbedarf zu sehen.