Quais LLMs locais cabem em DGX Spark GB10 (128 GB unified)

O DGX Spark (GB10) tem 128 GB LPDDR5x coherent unified system memory, compartilhados entre CPU e GPU. Depois de reservar 16 GiB para o sistema, sobram cerca de 112 GiB para um modelo. Com contexto de 8K, o maior modelo da nossa lista que cabe é o gpt-oss-120b com MXFP4 (cerca de 62,8 GiB). Qwen3.8-Flash-Next com Q4_K_M fica no limite (cerca de 111,8 GiB–131,5 GiB).

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

Quais modelos cabem com 8K

Cada modelo usa o arquivo de maior precisão que cabe, com um chat por vez.

Cabe (65)

ModeloQuantizaçãoTotal
GLM-4.5-AirGGUF Q6_K (Unsloth)93,8 GiB–96,1 GiB
Qwen3-Next-80B-A3B-InstructGGUF Q8_0 (Qwen)79,9 GiB–81,9 GiB
Qwen2.5-72B-InstructGGUF Q8_0 (Qwen)74,8 GiB–76,8 GiB
Llama-3.1-Nemotron-70B-Instruct-HFGGUF Q8_0 (bartowski)72,5 GiB–74,4 GiB
gpt-oss-120bMXFP4 safetensors61,2 GiB–62,8 GiB
Mixtral-8x7B-Instruct-v0.1GGUF Q8_0 (mradermacher)47,3 GiB–48,7 GiB
Qwen2.5-32B-InstructGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
Qwen2.5-VL-32B-InstructGGUF Q8_0 (mradermacher)34,6 GiB–35,7 GiB
Qwen2.5-Coder-32B-InstructGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
QwQ-32BGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
DeepSeek-R1-Distill-Qwen-32BGGUF Q8_0 (Unsloth)34,6 GiB–35,7 GiB
OpenMath-Nemotron-32BGGUF Q8_0 (mradermacher)34,6 GiB–35,7 GiB
Qwen3-32BGGUF Q8_0 (Qwen)34,6 GiB–35,7 GiB
Qwen3.8-27BGGUF Q8_0 (Unsloth)27,8 GiB–33,1 GiB
Qwen3-VL-30B-A3B-InstructGGUF Q8_0 (Qwen)31,1 GiB–32,2 GiB
Qwen3-30B-A3B-Instruct-2507GGUF Q8_0 (Unsloth)31,1 GiB–32,2 GiB
Qwen3-30B-A3BGGUF Q8_031,1 GiB–32,2 GiB
Drama 3Unofficial int4 W4A16 (GPTQ-Marlin, with codec)22,7 GiB–27,0 GiB
Mistral-Small-24B-Instruct-2501GGUF Q8_0 (Unsloth)24,7 GiB–25,6 GiB
DeepSeek-V2-Lite-ChatGGUF Q8_0 (mradermacher)15,9 GiB–19,2 GiB
Gemma 3 27B ITGGUF Q4_0 (Google QAT)17,2 GiB–18,0 GiB
Qwen2.5-14B-InstructGGUF Q8_016,2 GiB–17,0 GiB
Qwen2.5-Coder-14B-InstructGGUF Q8_0 (Qwen)16,2 GiB–17,0 GiB
OpenMath-Nemotron-14BGGUF Q8_0 (mradermacher)16,2 GiB–17,0 GiB
Phi-4-reasoningGGUF Q8_0 (Unsloth)16,2 GiB–17,0 GiB
phi-4GGUF Q8_0 (Microsoft)16,2 GiB–17,0 GiB
Llama 3.1 8B InstructOfficial BF16 safetensors16,1 GiB–16,8 GiB
Qwen3-14BGGUF Q8_0 (Qwen)16,0 GiB–16,8 GiB
Mistral-Nemo-Instruct-2407GGUF Q8_0 (Unsloth)13,5 GiB–14,2 GiB
gpt-oss-20bMXFP4 safetensors13,1 GiB–13,8 GiB
GLM-4-9B-0414GGUF Q8_0 (Unsloth)9,8 GiB–10,3 GiB
granite-3.3-8b-instructGGUF Q8_0 (IBM)9,5 GiB–10,1 GiB
Qwen3-VL-8B-InstructGGUF Q8_0 (Qwen)9,4 GiB–10,0 GiB
Qwen3-8B-BaseGGUF Q8_0 (mradermacher)9,4 GiB–10,0 GiB
Qwen3-8BGGUF Q8_09,4 GiB–10,0 GiB
Qwen2.5-Math-7B-InstructGGUF Q8_0 (bartowski)8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8BGGUF Q8_0 (Unsloth)9,1 GiB–9,7 GiB
Gemma 3 12B ITGGUF Q4_0 (Google QAT)8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3GGUF Q8_0 (bartowski)8,3 GiB–8,9 GiB
Qwen2.5-Coder-7BGGUF Q8_0 (mradermacher)8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-InstructGGUF Q8_0 (Qwen)8,1 GiB–8,7 GiB
Qwen2.5-7B-InstructGGUF Q8_08,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q8_0 (Unsloth)8,1 GiB–8,7 GiB
OpenMath-Nemotron-7BGGUF Q8_0 (mradermacher)8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-InstructGGUF Q8_0 (Unsloth)8,1 GiB–8,7 GiB
Qwen2-7B-InstructGGUF Q8_0 (Qwen)8,1 GiB–8,7 GiB
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)6,9 GiB–7,6 GiB
Llama 3.2 3B InstructOfficial BF16 safetensors7,0 GiB–7,5 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5,2 GiB–5,8 GiB
Qwen3-4BGGUF Q8_05,2 GiB–5,8 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3,8 GiB–4,2 GiB
Qwen2.5-3B-InstructGGUF Q8_03,8 GiB–4,2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3,5 GiB–3,9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3,3 GiB–3,8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3,3 GiB–3,8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2,7 GiB–3,2 GiB
Qwen3-1.7BGGUF Q8_02,7 GiB–3,2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1,6 GiB–2,0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1,1 GiB–1,5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0,8 GiB–1,2 GiB

Apertado (1)

ModeloQuantizaçãoTotal
Qwen3.8-Flash-NextGGUF Q4_K_M (bartowski)111,8 GiB–131,5 GiB
Não cabem (20)

Verificações específicas

Configurações conhecidas neste hardware

4 configurações conhecidas

Configurações que mantenedores e comunidade colocaram para rodar neste hardware.

DeepSeek-V4.1-Flash
2× NVIDIA DGX Spark (GB10, 128 GB unified)
Medido pelo mantenedor original
Quantização:EXL3 2.9 bpw (mul1)(2.9 bpw)
Motor:vLLM· TP2
Descarregamento:Engram n-gram tables (shards 47+48) → NVME
Testado:
  • ✓ geração
  • ✓ 262,144 contexto
  • ✓ chamada de ferramentas
  • ✓ visão
  • ✓ decodificação especulativa
Medido:31.6 tok/s· 1 streaming

Configuração testada. O texto está em inglês.

Usar esta configuraçãoInício rápido (inglês)Fonte ↗
DeepSeek-V4.1-Flash
3× NVIDIA DGX Spark (GB10, 128 GB unified)
Medido pelo mantenedor original
Quantização:Native MXFP4 MoE + FP8 Dense
Motor:SGLang· TP3
Descarregamento:Engram n-gram tables (189 GiB) → NVME
Testado:
  • ✓ geração
  • ✓ ~208K Testado (256K cfg)
  • ✓ chamada de ferramentas
  • ✓ visão
  • ✓ decodificação especulativa
Medido:37.9 tok/s· 1 streaming

Configuração testada. O texto está em inglês.

Usar esta configuraçãoInício rápido (inglês)Fonte ↗
DeepSeek-V4.1-Flash
4× NVIDIA DGX Spark (GB10, 128 GB unified)
Medido pelo mantenedor original
Quantização:Native MXFP4 MoE + FP8 Dense (TP=4)
Motor:SGLang· TP4
Descarregamento:Engram n-gram tables (189 GiB) → NVME
Testado:
  • ✓ geração
  • ✓ 1,048,576 contexto
  • ✓ chamada de ferramentas
  • ✓ visão
  • ✓ decodificação especulativa
Medido:45.4 tok/s· 1 streaming

Configuração testada. O texto está em inglês.

Usar esta configuraçãoInício rápido (inglês)Fonte ↗
DeepSeek-V4-Flash-0731
2× NVIDIA DGX Spark (GB10, 128 GB unified)
Medido pelo mantenedor original
Quantização:Official FP8 Safetensors
Motor:vLLM· TP2
Testado:
  • ✓ geração
  • ✓ 1,048,576 contexto
  • ✓ chamada de ferramentas
  • ✓ visão
  • ✓ decodificação especulativa
Medido:75.4 tok/s· 1 streaming

Configuração testada. O texto está em inglês.

Usar esta configuraçãoInício rápido (inglês)Fonte ↗

Memória

A reserva é uma suposição ajustável. Numa máquina sem tela você pode reduzi-la na calculadora.

A memória unificada é um único bloco compartilhado. A RAM do sistema não se soma a ela, e várias máquinas não formam um único bloco.

Abrir a calculadora com este hardwareCalculadora

Páginas relacionadas

Fontes

Calculadora

A carregar o snapshot do catálogo…

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções
Runtime

Engine e tipo de cache KV desta estimativa.

Desligado: GGUF, Q8 e outros filtros continuam estritos. Ligado: mostra substituição com pedido, usado e motivo.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Escolha uma GPU ou um Mac para ver quais modelos cabem, ou um modelo para ver quanta memória ele precisa.