Radeon RX 9070 XT 16GB (desktop) 能跑哪些本地大模型

16 GB GDDR6是独立显存：容量 17,179,869,184 字节（16.00 GiB），默认系统预留 2,147,483,648 字节（2.00 GiB），净容量 15,032,385,536 字节（14.00 GiB）。

Radeon RX 9070 XT 16GB (desktop)：总量 16.00 GiB，默认预留 2.00 GiB，计算器净预算 14.00 GiB。 本页回答的是标称容量。字节换算遵循该 SKU 在目录中的假设。

当前结果是估算，不是对应环境的实测。独立显存

这台设备相关的模型

标称、预留与净预算

预留是计算器里可改的假设，不是测得的桌面占用。无显示的机器可以在测过板卡基线后再调低。

8,192 token 下的目录适配

每一行都是计算器在 8,192 token 下的同一次自动选择：不低于 3 bit/权重、且能装下的最高精度。低于这个下限的文件仍可手动选择，不会成为自动行。并发序列数为 1，KV 为 FP16。能否装下和软件支持是两件事。格式兼容不是该 checkpoint 的实测运行。

预计放得下 (43)

模型量化估算结果适配软件兼容性证据
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
0.85 GiB–1.24 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Gemma 3 1B ITGGUF Q4_0 (Google QAT)
gguf-q4_0 · 8192 tokens
1.10 GiB–1.50 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-0.6BGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
1.60 GiB–2.04 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
2.11 GiB–2.53 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
2.11 GiB–2.53 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Llama 3.2 1B InstructOfficial BF16 safetensors
bf16 · 8192 tokens
2.68 GiB–3.12 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-1.7BGGUF Q8_0
gguf-q8_0 · 8192 tokens
2.71 GiB–3.18 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)
gguf-q8_0 · 8192 tokens
2.71 GiB–3.18 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Gemma 3 4B ITGGUF Q4_0 (Google QAT)
gguf-q4_0 · 8192 tokens
3.33 GiB–3.79 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
3.32 GiB–3.83 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
3.47 GiB–3.92 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-3B-InstructGGUF Q8_0
gguf-q8_0 · 8192 tokens
3.77 GiB–4.24 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
3.77 GiB–4.24 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Phi-4-mini-instructGGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
4.93 GiB–5.45 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-4BGGUF Q8_0
gguf-q8_0 · 8192 tokens
5.24 GiB–5.77 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
5.24 GiB–5.77 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
5.24 GiB–5.77 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Llama 3.2 3B InstructOfficial BF16 safetensors
bf16 · 8192 tokens
6.98 GiB–7.54 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)
gguf-q8_0 · 8192 tokens
6.91 GiB–7.57 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2-7B-InstructGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
8.10 GiB–8.66 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-VL-7B-InstructGGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
8.10 GiB–8.66 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
OpenMath-Nemotron-7BGGUF Q8_0 (mradermacher)
gguf-q8_0 · 8192 tokens
8.10 GiB–8.66 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
DeepSeek-R1-Distill-Qwen-7BGGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
8.10 GiB–8.66 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-7B-InstructGGUF Q8_0
gguf-q8_0 · 8192 tokens
8.10 GiB–8.66 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-Coder-7B-InstructGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
8.10 GiB–8.66 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-Coder-7BGGUF Q8_0 (mradermacher)
gguf-q8_0 · 8192 tokens
8.10 GiB–8.66 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Mistral-7B-Instruct-v0.3GGUF Q8_0 (bartowski)
gguf-q8_0 · 8192 tokens
8.30 GiB–8.89 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Gemma 3 12B ITGGUF Q4_0 (Google QAT)
gguf-q4_0 · 8192 tokens
8.46 GiB–9.04 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
DeepSeek-R1-Distill-Llama-8BGGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
9.08 GiB–9.68 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-Math-7B-InstructGGUF Q8_0 (bartowski)
gguf-q8_0 · 8192 tokens
8.10 GiB–9.96 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-8BGGUF Q8_0
gguf-q8_0 · 8192 tokens
9.36 GiB–9.98 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-8B-BaseGGUF Q8_0 (mradermacher)
gguf-q8_0 · 8192 tokens
9.36 GiB–9.98 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-VL-8B-InstructGGUF Q8_0 (Qwen)
gguf-q8_0 · 8192 tokens
9.36 GiB–9.98 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
granite-3.3-8b-instructGGUF Q8_0 (IBM)
gguf-q8_0 · 8192 tokens
9.46 GiB–10.09 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
GLM-4-9B-0414GGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
9.75 GiB–10.33 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Mistral-Nemo-Instruct-2407GGUF Q6_K (Unsloth)
gguf-q6_k · 8192 tokens
10.74 GiB–11.39 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen3-14BGGUF Q5_K_M (Qwen)
gguf-q5_k_m · 8192 tokens
11.17 GiB–11.83 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
phi-4GGUF Q5_K_M (Unsloth)
gguf-q5_k_m · 8192 tokens
11.39 GiB–12.06 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
OpenMath-Nemotron-14BGGUF Q5_K_M (mradermacher)
gguf-q5_k_m · 8192 tokens
11.41 GiB–12.09 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-Coder-14B-InstructGGUF Q5_K_M (Qwen)
gguf-q5_k_m · 8192 tokens
11.41 GiB–12.09 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-14B-InstructGGUF Q5_K_M (Qwen)
gguf-q5_k_m · 8192 tokens
11.41 GiB–12.09 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
DeepSeek-V2-Lite-ChatGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · 8192 tokens
10.01 GiB–12.23 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。
Phi-4-reasoningGGUF Q5_K_M (Unsloth)
gguf-q5_k_m · 8192 tokens
11.56 GiB–12.25 GiB预计放得下未核实当前结果是估算，不是对应环境的实测。

接近上限 (2)

模型量化估算结果适配软件兼容性证据
Qwen3.8-27BGGUF UD-IQ3_XXS (Unsloth)
gguf-ud-iq3_xxs · 8192 tokens
10.96 GiB–13.32 GiB接近上限未核实当前结果是估算，不是对应环境的实测。
gpt-oss-20bMXFP4 safetensors
mxfp4 · 8192 tokens
13.13 GiB–13.78 GiB接近上限未核实当前结果是估算，不是对应环境的实测。

预计内存不足 (41)

模型量化估算结果适配软件兼容性证据
Mistral-Small-24B-Instruct-2501GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
14.72 GiB–15.45 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Llama 3.1 8B InstructOfficial BF16 safetensors
bf16 · 8192 tokens
16.08 GiB–16.83 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Gemma 3 27B ITGGUF Q4_0 (Google QAT)
gguf-q4_0 · 8192 tokens
17.20 GiB–17.97 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen3-30B-A3BGGUF Q4_K_M
gguf-q4_k_m · 8192 tokens
18.16 GiB–18.93 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen3-30B-A3B-Instruct-2507GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
18.16 GiB–18.93 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen3-VL-30B-A3B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · 8192 tokens
18.16 GiB–18.93 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen3-32BGGUF Q4_K_M
gguf-q4_k_m · 8192 tokens
20.53 GiB–21.41 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
OpenMath-Nemotron-32BGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · 8192 tokens
20.61 GiB–21.50 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-VL-32B-InstructGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
20.61 GiB–21.50 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
DeepSeek-R1-Distill-Qwen-32BGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
20.61 GiB–21.50 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
QwQ-32BGGUF Q4_K_M (Qwen)
gguf-q4_k_m · 8192 tokens
20.61 GiB–21.50 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-Coder-32B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · 8192 tokens
20.61 GiB–21.50 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-32B-InstructGGUF Q4_K_M
gguf-q4_k_m · 8192 tokens
20.61 GiB–21.50 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Drama 3Unofficial int4 W4A16 (GPTQ-Marlin, with codec)
int4-w4a16-community · 8192 tokens
22.67 GiB–27.03 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Mixtral-8x7B-Instruct-v0.1GGUF Q4_K_M (mradermacher)
gguf-q4_k_m · 8192 tokens
27.62 GiB–28.59 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Llama-3.1-Nemotron-70B-Instruct-HFGGUF Q4_K_M (bartowski)
gguf-q4_k_m · 8192 tokens
42.23 GiB–43.57 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen2.5-72B-InstructGGUF Q4_K_M
gguf-q4_k_m · 8192 tokens
43.61 GiB–44.98 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen3-Next-80B-A3B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · 8192 tokens
45.96 GiB–47.29 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
gpt-oss-120bMXFP4 safetensors
mxfp4 · 8192 tokens
61.18 GiB–62.79 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
GLM-4.5-AirGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
69.53 GiB–71.36 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen3.8-Flash-NextGGUF Q4_K_M (bartowski)
gguf-q4_k_m · 8192 tokens
111.75 GiB–131.53 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
MiniMax-M2GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
130.90 GiB–133.99 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen3-235B-A22BGGUF Q4_K_M (Qwen)
gguf-q4_k_m · 8192 tokens
133.99 GiB–137.11 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Qwen3-235B-A22B-Instruct-2507GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
133.99 GiB–137.11 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Llama 3.3 70B InstructOfficial BF16 safetensors
bf16 · 8192 tokens
134.04 GiB–137.22 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
DeepSeek-V4-Flash-0731FP8 safetensors
fp8 · 8192 tokens
156.21 GiB–183.71 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
GLM-4.6GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
203.78 GiB–208.37 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
GLM-4.5GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
204.59 GiB–209.20 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
MiniMax-M3GGUF Q4_K_M (bartowski)
gguf-q4_k_m · 8192 tokens
244.40 GiB–249.71 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
GLM-5.3-FlashGGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
318.04 GiB–373.58 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
DeepSeek-V3GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
377.32 GiB–443.15 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
DeepSeek-R1GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
377.32 GiB–443.15 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
DeepSeek-V3-0324GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
377.32 GiB–443.15 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
DeepSeek-R1-0528GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
377.79 GiB–443.71 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
DeepSeek-V3.1GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
378.22 GiB–444.21 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Muse Spark OpenOfficial NVFP4 safetensors
nvfp4 · 8192 tokens
498.47 GiB–508.91 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
DeepSeek-V4.1-FlashFP8 safetensors
fp8 · 8192 tokens
475.99 GiB–558.80 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Ling-3.1-flashOfficial FP8 safetensors (F8_E4M3 experts + BF16 remainder)
fp8 · 8192 tokens
535.11 GiB–628.26 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Kimi-K2-InstructGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
578.81 GiB–679.50 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
Kimi-K2-ThinkingGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · 8192 tokens
579.24 GiB–680.01 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。
GLM-5.3GGUF Q8_0 (Unsloth)
gguf-q8_0 · 8192 tokens
747.13 GiB–876.98 GiB预计内存不足未核实当前结果是估算，不是对应环境的实测。

这块 SKU 上已测得与仍在计划中的证据

除非附上匹配的运行时驻留实测，本页只是估算。

用这台设备打开硬件优先的计算器计算器

相关页面

数据来源

计算器

正在加载已发布的目录快照…

先选择 GPU 或统一内存机器，以及数量。随后出现一份当前关注的短名单。

设备类型

选择 GPU 或统一内存设备。候选模型会立即出现。

工作负载

上下文长度主要影响 KV Cache 内存。

高级设置
运行时

这次估算使用的引擎和 KV 缓存类型。

关闭：GGUF、Q8 等筛选保持严格。打开：会显示替代项，并标明请求、实际使用和原因。

工作负载

开销场景，以及是否计入预填充工作区。

拓扑

模型如何切到多张设备上。各设备的显存不会相加。

副本数是高级部署选项。数量指节点或 GPU，不是副本。

预算

系统保留和安全余量。数字框清空时保留上一次的值。

GiB（2^30 字节）

%

设备与工作负载

选择 GPU 或统一内存设备。候选模型会立即出现。

完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。

选择设备后列出候选模型。不必先选模型。