DGX Spark GB10（128 GB unified）能跑哪些本地大模型？

DGX Spark (GB10) 有 128 GB LPDDR5x coherent unified system memory，CPU 和 GPU 共用。扣掉给系统保留的 16 GiB，大约 112 GiB 留给模型。 8K 上下文时，列表里放得下的最大模型是 gpt-oss-120b（MXFP4，约 62.8 GiB）。 Qwen3.8-Flash-Next（Q4_K_M）比较勉强（约 111.8 GiB–131.5 GiB）。

这些数字是根据模型 config 和文件大小算出的估算，不是实测。 计算方法

8K 时放得下哪些模型

每个模型用放得下的最高精度文件，一次一个对话。

放得下 (65)

模型量化合计
GLM-4.5-AirGGUF Q6_K (Unsloth)93.8 GiB–96.1 GiB
Qwen3-Next-80B-A3B-InstructGGUF Q8_0 (Qwen)79.9 GiB–81.9 GiB
Qwen2.5-72B-InstructGGUF Q8_0 (Qwen)74.8 GiB–76.8 GiB
Llama-3.1-Nemotron-70B-Instruct-HFGGUF Q8_0 (bartowski)72.5 GiB–74.4 GiB
gpt-oss-120bMXFP4 safetensors61.2 GiB–62.8 GiB
Mixtral-8x7B-Instruct-v0.1GGUF Q8_0 (mradermacher)47.3 GiB–48.7 GiB
Qwen2.5-32B-InstructGGUF Q8_0 (Qwen)34.6 GiB–35.7 GiB
Qwen2.5-VL-32B-InstructGGUF Q8_0 (mradermacher)34.6 GiB–35.7 GiB
Qwen2.5-Coder-32B-InstructGGUF Q8_0 (Qwen)34.6 GiB–35.7 GiB
QwQ-32BGGUF Q8_0 (Qwen)34.6 GiB–35.7 GiB
DeepSeek-R1-Distill-Qwen-32BGGUF Q8_0 (Unsloth)34.6 GiB–35.7 GiB
OpenMath-Nemotron-32BGGUF Q8_0 (mradermacher)34.6 GiB–35.7 GiB
Qwen3-32BGGUF Q8_0 (Qwen)34.6 GiB–35.7 GiB
Qwen3.8-27BGGUF Q8_0 (Unsloth)27.8 GiB–33.1 GiB
Qwen3-VL-30B-A3B-InstructGGUF Q8_0 (Qwen)31.1 GiB–32.2 GiB
Qwen3-30B-A3B-Instruct-2507GGUF Q8_0 (Unsloth)31.1 GiB–32.2 GiB
Qwen3-30B-A3BGGUF Q8_031.1 GiB–32.2 GiB
Drama 3Unofficial int4 W4A16 (GPTQ-Marlin, with codec)22.7 GiB–27.0 GiB
Mistral-Small-24B-Instruct-2501GGUF Q8_0 (Unsloth)24.7 GiB–25.6 GiB
DeepSeek-V2-Lite-ChatGGUF Q8_0 (mradermacher)15.9 GiB–19.2 GiB
Gemma 3 27B ITGGUF Q4_0 (Google QAT)17.2 GiB–18.0 GiB
Qwen2.5-14B-InstructGGUF Q8_016.2 GiB–17.0 GiB
Qwen2.5-Coder-14B-InstructGGUF Q8_0 (Qwen)16.2 GiB–17.0 GiB
OpenMath-Nemotron-14BGGUF Q8_0 (mradermacher)16.2 GiB–17.0 GiB
Phi-4-reasoningGGUF Q8_0 (Unsloth)16.2 GiB–17.0 GiB
phi-4GGUF Q8_0 (Microsoft)16.2 GiB–17.0 GiB
Llama 3.1 8B InstructOfficial BF16 safetensors16.1 GiB–16.8 GiB
Qwen3-14BGGUF Q8_0 (Qwen)16.0 GiB–16.8 GiB
Mistral-Nemo-Instruct-2407GGUF Q8_0 (Unsloth)13.5 GiB–14.2 GiB
gpt-oss-20bMXFP4 safetensors13.1 GiB–13.8 GiB
GLM-4-9B-0414GGUF Q8_0 (Unsloth)9.8 GiB–10.3 GiB
granite-3.3-8b-instructGGUF Q8_0 (IBM)9.5 GiB–10.1 GiB
Qwen3-VL-8B-InstructGGUF Q8_0 (Qwen)9.4 GiB–10.0 GiB
Qwen3-8B-BaseGGUF Q8_0 (mradermacher)9.4 GiB–10.0 GiB
Qwen3-8BGGUF Q8_09.4 GiB–10.0 GiB
Qwen2.5-Math-7B-InstructGGUF Q8_0 (bartowski)8.1 GiB–10.0 GiB
DeepSeek-R1-Distill-Llama-8BGGUF Q8_0 (Unsloth)9.1 GiB–9.7 GiB
Gemma 3 12B ITGGUF Q4_0 (Google QAT)8.5 GiB–9.0 GiB
Mistral-7B-Instruct-v0.3GGUF Q8_0 (bartowski)8.3 GiB–8.9 GiB
Qwen2.5-Coder-7BGGUF Q8_0 (mradermacher)8.1 GiB–8.7 GiB
Qwen2.5-Coder-7B-InstructGGUF Q8_0 (Qwen)8.1 GiB–8.7 GiB
Qwen2.5-7B-InstructGGUF Q8_08.1 GiB–8.7 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q8_0 (Unsloth)8.1 GiB–8.7 GiB
OpenMath-Nemotron-7BGGUF Q8_0 (mradermacher)8.1 GiB–8.7 GiB
Qwen2.5-VL-7B-InstructGGUF Q8_0 (Unsloth)8.1 GiB–8.7 GiB
Qwen2-7B-InstructGGUF Q8_0 (Qwen)8.1 GiB–8.7 GiB
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)6.9 GiB–7.6 GiB
Llama 3.2 3B InstructOfficial BF16 safetensors7.0 GiB–7.5 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5.2 GiB–5.8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5.2 GiB–5.8 GiB
Qwen3-4BGGUF Q8_05.2 GiB–5.8 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4.9 GiB–5.5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3.8 GiB–4.2 GiB
Qwen2.5-3B-InstructGGUF Q8_03.8 GiB–4.2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3.5 GiB–3.9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3.3 GiB–3.8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3.3 GiB–3.8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2.7 GiB–3.2 GiB
Qwen3-1.7BGGUF Q8_02.7 GiB–3.2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2.7 GiB–3.1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2.1 GiB–2.5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2.1 GiB–2.5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1.6 GiB–2.0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1.1 GiB–1.5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0.8 GiB–1.2 GiB

勉强放得下 (1)

模型量化合计
Qwen3.8-Flash-NextGGUF Q4_K_M (bartowski)111.8 GiB–131.5 GiB
放不下（20）

具体组合检查

此硬件上的已知部署

4 个已知方案

维护者和社区在这块硬件上实际跑通的配置。

DeepSeek-V4.1-Flash
2× NVIDIA DGX Spark (GB10, 128 GB unified)
上游维护者实测
量化:EXL3 2.9 bpw (mul1)(2.9 bpw)
运行时:vLLM· TP2
卸载:Engram n-gram tables (shards 47+48) → NVME
已测试:
  • ✓ 文本生成
  • ✓ 262,144 上下文
  • ✓ 工具调用
  • ✓ 视觉
  • ✓ 推测解码
实测:31.6 tok/s· 1 流式输出

实测部署，详细说明为英文。

使用这套配置快速开始（英文）来源 ↗
DeepSeek-V4.1-Flash
3× NVIDIA DGX Spark (GB10, 128 GB unified)
上游维护者实测
量化:Native MXFP4 MoE + FP8 Dense
运行时:SGLang· TP3
卸载:Engram n-gram tables (189 GiB) → NVME
已测试:
  • ✓ 文本生成
  • ✓ ~208K 已测试 (256K cfg)
  • ✓ 工具调用
  • ✓ 视觉
  • ✓ 推测解码
实测:37.9 tok/s· 1 流式输出

实测部署，详细说明为英文。

使用这套配置快速开始（英文）来源 ↗
DeepSeek-V4.1-Flash
4× NVIDIA DGX Spark (GB10, 128 GB unified)
上游维护者实测
量化:Native MXFP4 MoE + FP8 Dense (TP=4)
运行时:SGLang· TP4
卸载:Engram n-gram tables (189 GiB) → NVME
已测试:
  • ✓ 文本生成
  • ✓ 1,048,576 上下文
  • ✓ 工具调用
  • ✓ 视觉
  • ✓ 推测解码
实测:45.4 tok/s· 1 流式输出

实测部署，详细说明为英文。

使用这套配置快速开始（英文）来源 ↗
DeepSeek-V4-Flash-0731
2× NVIDIA DGX Spark (GB10, 128 GB unified)
上游维护者实测
量化:Official FP8 Safetensors
运行时:vLLM· TP2
已测试:
  • ✓ 文本生成
  • ✓ 1,048,576 上下文
  • ✓ 工具调用
  • ✓ 视觉
  • ✓ 推测解码
实测:75.4 tok/s· 1 流式输出

实测部署，详细说明为英文。

使用这套配置快速开始（英文）来源 ↗

内存

保留量是可调的假设。无显示器的机器可以在计算器里调低。

统一内存是一整块共享内存。系统内存不能再叠加上去，多台机器也不是一块内存。

用这张卡打开计算器计算器

相关页面

数据来源

计算器

正在加载已发布的目录快照…

上下文长度

上下文越长，KV 缓存（模型记住对话用的内存）占用越多。

更多选项
运行时

这次估算使用的引擎和 KV 缓存类型。

关闭：GGUF、Q8 等筛选保持严格。打开：会显示替代项，并标明请求、实际使用和原因。

工作负载

开销场景，以及是否计入预填充工作区。

拓扑

模型如何切到多张设备上。各设备的显存不会相加。

副本数是高级部署选项。数量指节点或 GPU，不是副本。

预算

系统保留和安全余量。数字框清空时保留上一次的值。

GiB（2^30 字节）

%

选一块显卡或 Mac 看能跑哪些模型，或者选一个模型看它需要多少显存。