Qué LLM locales caben en DGX Spark GB10 (128 GB unified)

El DGX Spark (GB10) tiene 128 GB LPDDR5x coherent unified system memory, compartidos entre CPU y GPU. Tras reservar 16 GiB para el sistema, quedan unos 112 GiB para un modelo. Con un contexto de 8K, el modelo más grande de nuestra lista que cabe es gpt-oss-120b con MXFP4 (unos 62,8 GiB). Qwen3.8-Flash-Next con Q4_K_M va justo (unos 111,8 GiB–131,5 GiB).

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

Qué modelos caben con 8K

Cada modelo usa el archivo de mayor precisión que cabe, con un chat a la vez.

Cabe (65)

ModeloCuantizaciónTotal
GLM-4.5-AirGGUF Q6_K (Unsloth)93,8 GiB–96,1 GiB
Qwen3-Next-80B-A3B-InstructGGUF Q8_0 (Qwen)79,9 GiB–81,9 GiB
Qwen2.5-72B-InstructGGUF Q8_0 (Qwen)74,8 GiB–76,8 GiB
Llama-3.1-Nemotron-70B-Instruct-HFGGUF Q8_0 (bartowski)72,5 GiB–74,4 GiB
gpt-oss-120bMXFP4 safetensors61,2 GiB–62,8 GiB
Mixtral-8x7B-Instruct-v0.1GGUF Q8_0 (mradermacher)47,3 GiB–48,7 GiB
Qwen2.5-32B-InstructGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
Qwen2.5-VL-32B-InstructGGUF Q8_0 (mradermacher)34,6 GiB–35,7 GiB
Qwen2.5-Coder-32B-InstructGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
QwQ-32BGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
DeepSeek-R1-Distill-Qwen-32BGGUF Q8_0 (Unsloth)34,6 GiB–35,7 GiB
OpenMath-Nemotron-32BGGUF Q8_0 (mradermacher)34,6 GiB–35,7 GiB
Qwen3-32BGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
Qwen3.8-27BGGUF Q8_0 (Unsloth)27,8 GiB–33,1 GiB
Qwen3-VL-30B-A3B-InstructGGUF Q8_0 (Qwen)31,1 GiB–32,2 GiB
Qwen3-30B-A3B-Instruct-2507GGUF Q8_0 (Unsloth)31,1 GiB–32,2 GiB
Qwen3-30B-A3BGGUF Q8_031,1 GiB–32,2 GiB
Drama 3Unofficial int4 W4A16 (GPTQ-Marlin, with codec)22,7 GiB–27,0 GiB
Mistral-Small-24B-Instruct-2501GGUF Q8_0 (Unsloth)24,7 GiB–25,6 GiB
DeepSeek-V2-Lite-ChatGGUF Q8_0 (mradermacher)15,9 GiB–19,2 GiB
Gemma 3 27B ITGGUF Q4_0 (Google QAT)17,2 GiB–18,0 GiB
Qwen2.5-14B-InstructGGUF Q8_016,2 GiB–17,0 GiB
Qwen2.5-Coder-14B-InstructGGUF Q8_0 (Qwen)16,2 GiB–17,0 GiB
OpenMath-Nemotron-14BGGUF Q8_0 (mradermacher)16,2 GiB–17,0 GiB
Phi-4-reasoningGGUF Q8_0 (Unsloth)16,2 GiB–17,0 GiB
phi-4GGUF Q8_0 (Microsoft)16,2 GiB–17,0 GiB
Llama 3.1 8B InstructOfficial BF16 safetensors16,1 GiB–16,8 GiB
Qwen3-14BGGUF Q8_0 (Qwen)16,0 GiB–16,8 GiB
Mistral-Nemo-Instruct-2407GGUF Q8_0 (Unsloth)13,5 GiB–14,2 GiB
gpt-oss-20bMXFP4 safetensors13,1 GiB–13,8 GiB
GLM-4-9B-0414GGUF Q8_0 (Unsloth)9,8 GiB–10,3 GiB
granite-3.3-8b-instructGGUF Q8_0 (IBM)9,5 GiB–10,1 GiB
Qwen3-VL-8B-InstructGGUF Q8_0 (Qwen)9,4 GiB–10,0 GiB
Qwen3-8B-BaseGGUF Q8_0 (mradermacher)9,4 GiB–10,0 GiB
Qwen3-8BGGUF Q8_09,4 GiB–10,0 GiB
Qwen2.5-Math-7B-InstructGGUF Q8_0 (bartowski)8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8BGGUF Q8_0 (Unsloth)9,1 GiB–9,7 GiB
Gemma 3 12B ITGGUF Q4_0 (Google QAT)8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3GGUF Q8_0 (bartowski)8,3 GiB–8,9 GiB
Qwen2.5-Coder-7BGGUF Q8_0 (mradermacher)8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-InstructGGUF Q8_0 (Qwen)8,1 GiB–8,7 GiB
Qwen2.5-7B-InstructGGUF Q8_08,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q8_0 (Unsloth)8,1 GiB–8,7 GiB
OpenMath-Nemotron-7BGGUF Q8_0 (mradermacher)8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-InstructGGUF Q8_0 (Unsloth)8,1 GiB–8,7 GiB
Qwen2-7B-InstructGGUF Q8_0 (Qwen)8,1 GiB–8,7 GiB
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)6,9 GiB–7,6 GiB
Llama 3.2 3B InstructOfficial BF16 safetensors7,0 GiB–7,5 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5,2 GiB–5,8 GiB
Qwen3-4BGGUF Q8_05,2 GiB–5,8 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3,8 GiB–4,2 GiB
Qwen2.5-3B-InstructGGUF Q8_03,8 GiB–4,2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3,5 GiB–3,9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3,3 GiB–3,8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3,3 GiB–3,8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2,7 GiB–3,2 GiB
Qwen3-1.7BGGUF Q8_02,7 GiB–3,2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1,6 GiB–2,0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1,1 GiB–1,5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0,8 GiB–1,2 GiB

Ajustado (1)

ModeloCuantizaciónTotal
Qwen3.8-Flash-NextGGUF Q4_K_M (bartowski)111,8 GiB–131,5 GiB
No caben (20)

Comprobaciones concretas

Configuraciones conocidas en este hardware

4 configuraciones conocidas

Configuraciones que mantenedores y comunidad hicieron funcionar en este hardware.

DeepSeek-V4.1-Flash
2× NVIDIA DGX Spark (GB10, 128 GB unified)
Medido por el mantenedor original
Cuantización:EXL3 2.9 bpw (mul1)(2.9 bpw)
Motor:vLLM· TP2
Descarga:Engram n-gram tables (shards 47+48) → NVME
Probado:
  • ✓ generación
  • ✓ 262,144 contexto
  • ✓ llamada a herramientas
  • ✓ visión
  • ✓ decodificación especulativa
Medido:31.6 tok/s· 1 streaming

Despliegue probado. El texto está en inglés.

Usar esta configuraciónInicio rápido (inglés)Fuente ↗
DeepSeek-V4.1-Flash
3× NVIDIA DGX Spark (GB10, 128 GB unified)
Medido por el mantenedor original
Cuantización:Native MXFP4 MoE + FP8 Dense
Motor:SGLang· TP3
Descarga:Engram n-gram tables (189 GiB) → NVME
Probado:
  • ✓ generación
  • ✓ ~208K Probado (256K cfg)
  • ✓ llamada a herramientas
  • ✓ visión
  • ✓ decodificación especulativa
Medido:37.9 tok/s· 1 streaming

Despliegue probado. El texto está en inglés.

Usar esta configuraciónInicio rápido (inglés)Fuente ↗
DeepSeek-V4.1-Flash
4× NVIDIA DGX Spark (GB10, 128 GB unified)
Medido por el mantenedor original
Cuantización:Native MXFP4 MoE + FP8 Dense (TP=4)
Motor:SGLang· TP4
Descarga:Engram n-gram tables (189 GiB) → NVME
Probado:
  • ✓ generación
  • ✓ 1,048,576 contexto
  • ✓ llamada a herramientas
  • ✓ visión
  • ✓ decodificación especulativa
Medido:45.4 tok/s· 1 streaming

Despliegue probado. El texto está en inglés.

Usar esta configuraciónInicio rápido (inglés)Fuente ↗
DeepSeek-V4-Flash-0731
2× NVIDIA DGX Spark (GB10, 128 GB unified)
Medido por el mantenedor original
Cuantización:Official FP8 Safetensors
Motor:vLLM· TP2
Probado:
  • ✓ generación
  • ✓ 1,048,576 contexto
  • ✓ llamada a herramientas
  • ✓ visión
  • ✓ decodificación especulativa
Medido:75.4 tok/s· 1 streaming

Despliegue probado. El texto está en inglés.

Usar esta configuraciónInicio rápido (inglés)Fuente ↗

Memoria

La reserva es una suposición ajustable. En un equipo sin pantalla puedes bajarla en la calculadora.

La memoria unificada es un único bloque compartido. La RAM del sistema no se suma encima, y varios equipos no forman un solo bloque.

Abrir la calculadora con este hardwareCalculadora

Páginas relacionadas

Fuentes

Calculadora

Cargando la instantánea del catálogo…

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones
Ejecución

Motor y tipo de caché KV de esta estimación.

Off: GGUF, Q8 y otros filtros siguen siendo estrictos. On: se muestra un reemplazo con solicitado, usado y motivo.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Elige una GPU o un Mac para ver qué modelos caben, o un modelo para ver cuánta memoria necesita.