RTX 4090（24 GB GDDR6X）能跑哪些本地大模型？
RTX 4090 有 24 GB GDDR6X。扣掉给系统和显示保留的 2 GiB，大约 22 GiB 可以给模型用。 8K 上下文时，列表里放得下的最大模型是 Qwen3-30B-A3B（Q4_K_M，约 18.9 GiB）。 Qwen2.5-32B-Instruct（Q4_K_M）比较勉强（约 20.6 GiB–21.5 GiB）。
这些数字是根据模型 config 和文件大小算出的估算，不是实测。 计算方法
8K 时放得下哪些模型
每个模型用放得下的最高精度文件，一次一个对话。
放得下 (51)
| 模型 | 量化 | 合计 |
|---|---|---|
| Qwen3.8-27B | GGUF Q4_K_M (mradermacher) | 16.4 GiB–19.7 GiB |
| DeepSeek-V2-Lite-Chat | GGUF Q8_0 (mradermacher) | 15.9 GiB–19.2 GiB |
| Qwen3-VL-30B-A3B-Instruct | GGUF Q4_K_M (Qwen) | 18.2 GiB–18.9 GiB |
| Qwen3-30B-A3B-Instruct-2507 | GGUF Q4_K_M (Unsloth) | 18.2 GiB–18.9 GiB |
| Qwen3-30B-A3B | GGUF Q4_K_M | 18.2 GiB–18.9 GiB |
| Gemma 3 27B IT | GGUF Q4_0 (Google QAT) | 17.2 GiB–18.0 GiB |
| Mistral-Small-24B-Instruct-2501 | GGUF Q5_K_M (bartowski) | 17.0 GiB–17.8 GiB |
| Qwen2.5-14B-Instruct | GGUF Q8_0 | 16.2 GiB–17.0 GiB |
| Qwen2.5-Coder-14B-Instruct | GGUF Q8_0 (Qwen) | 16.2 GiB–17.0 GiB |
| OpenMath-Nemotron-14B | GGUF Q8_0 (mradermacher) | 16.2 GiB–17.0 GiB |
| Phi-4-reasoning | GGUF Q8_0 (Unsloth) | 16.2 GiB–17.0 GiB |
| phi-4 | GGUF Q8_0 (Microsoft) | 16.2 GiB–17.0 GiB |
| Llama 3.1 8B Instruct | Official BF16 safetensors | 16.1 GiB–16.8 GiB |
| Qwen3-14B | GGUF Q8_0 (Qwen) | 16.0 GiB–16.8 GiB |
| Mistral-Nemo-Instruct-2407 | GGUF Q8_0 (Unsloth) | 13.5 GiB–14.2 GiB |
| gpt-oss-20b | MXFP4 safetensors | 13.1 GiB–13.8 GiB |
| GLM-4-9B-0414 | GGUF Q8_0 (Unsloth) | 9.8 GiB–10.3 GiB |
| granite-3.3-8b-instruct | GGUF Q8_0 (IBM) | 9.5 GiB–10.1 GiB |
| Qwen3-VL-8B-Instruct | GGUF Q8_0 (Qwen) | 9.4 GiB–10.0 GiB |
| Qwen3-8B-Base | GGUF Q8_0 (mradermacher) | 9.4 GiB–10.0 GiB |
| Qwen3-8B | GGUF Q8_0 | 9.4 GiB–10.0 GiB |
| Qwen2.5-Math-7B-Instruct | GGUF Q8_0 (bartowski) | 8.1 GiB–10.0 GiB |
| DeepSeek-R1-Distill-Llama-8B | GGUF Q8_0 (Unsloth) | 9.1 GiB–9.7 GiB |
| Gemma 3 12B IT | GGUF Q4_0 (Google QAT) | 8.5 GiB–9.0 GiB |
| Mistral-7B-Instruct-v0.3 | GGUF Q8_0 (bartowski) | 8.3 GiB–8.9 GiB |
| Qwen2.5-Coder-7B | GGUF Q8_0 (mradermacher) | 8.1 GiB–8.7 GiB |
| Qwen2.5-Coder-7B-Instruct | GGUF Q8_0 (Qwen) | 8.1 GiB–8.7 GiB |
| Qwen2.5-7B-Instruct | GGUF Q8_0 | 8.1 GiB–8.7 GiB |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q8_0 (Unsloth) | 8.1 GiB–8.7 GiB |
| OpenMath-Nemotron-7B | GGUF Q8_0 (mradermacher) | 8.1 GiB–8.7 GiB |
| Qwen2.5-VL-7B-Instruct | GGUF Q8_0 (Unsloth) | 8.1 GiB–8.7 GiB |
| Qwen2-7B-Instruct | GGUF Q8_0 (Qwen) | 8.1 GiB–8.7 GiB |
| Phi-3.5-mini-instruct | GGUF Q8_0 (bartowski) | 6.9 GiB–7.6 GiB |
| Llama 3.2 3B Instruct | Official BF16 safetensors | 7.0 GiB–7.5 GiB |
| Qwen3-VL-4B-Instruct | GGUF Q8_0 (Qwen) | 5.2 GiB–5.8 GiB |
| Qwen3-4B-Instruct-2507 | GGUF Q8_0 (Unsloth) | 5.2 GiB–5.8 GiB |
| Qwen3-4B | GGUF Q8_0 | 5.2 GiB–5.8 GiB |
| Phi-4-mini-instruct | GGUF Q8_0 (Unsloth) | 4.9 GiB–5.5 GiB |
| Qwen2.5-Coder-3B-Instruct | GGUF Q8_0 (Qwen) | 3.8 GiB–4.2 GiB |
| Qwen2.5-3B-Instruct | GGUF Q8_0 | 3.8 GiB–4.2 GiB |
| Qwen2.5-VL-3B-Instruct | GGUF Q8_0 (Unsloth) | 3.5 GiB–3.9 GiB |
| SmolLM2-1.7B-Instruct | GGUF Q8_0 (Unsloth) | 3.3 GiB–3.8 GiB |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT) | 3.3 GiB–3.8 GiB |
| Qwen3-1.7B-Base | GGUF Q8_0 (mradermacher) | 2.7 GiB–3.2 GiB |
| Qwen3-1.7B | GGUF Q8_0 | 2.7 GiB–3.2 GiB |
| Llama 3.2 1B Instruct | Official BF16 safetensors | 2.7 GiB–3.1 GiB |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2.1 GiB–2.5 GiB |
| Qwen2.5-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2.1 GiB–2.5 GiB |
| Qwen3-0.6B | GGUF Q8_0 (Qwen) | 1.6 GiB–2.0 GiB |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT) | 1.1 GiB–1.5 GiB |
| Qwen2.5-0.5B-Instruct | GGUF Q8_0 (Qwen) | 0.8 GiB–1.2 GiB |
勉强放得下 (7)
| 模型 | 量化 | 合计 |
|---|---|---|
| Qwen2.5-32B-Instruct | GGUF Q4_K_M | 20.6 GiB–21.5 GiB |
| Qwen2.5-Coder-32B-Instruct | GGUF Q4_K_M (Qwen) | 20.6 GiB–21.5 GiB |
| QwQ-32B | GGUF Q4_K_M (Qwen) | 20.6 GiB–21.5 GiB |
| DeepSeek-R1-Distill-Qwen-32B | GGUF Q4_K_M (Unsloth) | 20.6 GiB–21.5 GiB |
| Qwen2.5-VL-32B-Instruct | GGUF Q4_K_M (Unsloth) | 20.6 GiB–21.5 GiB |
| OpenMath-Nemotron-32B | GGUF Q4_K_M (mradermacher) | 20.6 GiB–21.5 GiB |
| Qwen3-32B | GGUF Q4_K_M | 20.5 GiB–21.4 GiB |
放不下（28）
- Drama 3 · Unofficial int4 W4A16 · 27 GiB
- Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28.6 GiB
- Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43.6 GiB
- Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
- Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47.3 GiB
- gpt-oss-120b · MXFP4 · 62.8 GiB
- GLM-4.5-Air · Q4_K_M · 71.4 GiB
- Qwen3.8-Flash-Next · Q4_K_M · 131.5 GiB
- MiniMax-M2 · Q4_K_M · 134 GiB
- Qwen3-235B-A22B · Q4_K_M · 137.1 GiB
- Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137.1 GiB
- Llama 3.3 70B Instruct · BF16 · 137.2 GiB
- DeepSeek-V4-Flash-0731 · FP8 · 183.7 GiB
- GLM-4.6 · Q4_K_M · 208.4 GiB
- GLM-4.5 · Q4_K_M · 209.2 GiB
- MiniMax-M3 · Q4_K_M · 249.7 GiB
- GLM-5.3-Flash · Q8_0 · 373.6 GiB
- DeepSeek-V3 · Q4_K_M · 443.1 GiB
- DeepSeek-R1 · Q4_K_M · 443.1 GiB
- DeepSeek-V3-0324 · Q4_K_M · 443.1 GiB
- DeepSeek-R1-0528 · Q4_K_M · 443.7 GiB
- DeepSeek-V3.1 · Q4_K_M · 444.2 GiB
- Muse Spark Open · NVFP4 · 508.9 GiB
- DeepSeek-V4.1-Flash · FP8 · 558.8 GiB
- Ling-3.1-flash · FP8 · 628.3 GiB
- Kimi-K2-Instruct · Q4_K_M · 679.5 GiB
- Kimi-K2-Thinking · Q4_K_M · 680 GiB
- GLM-5.3 · Q8_0 · 877 GiB
具体组合检查
- Qwen2.5-3B-Instruct 能在 RTX 4090 上运行吗？
- Qwen2.5-7B-Instruct 能在 RTX 4090 上运行吗？
- Qwen2.5-14B-Instruct 能在 RTX 4090 上运行吗？
- Qwen2.5-32B-Instruct 能在 RTX 4090 上运行吗？
- Qwen2.5-72B-Instruct 能在 RTX 4090 上运行吗？
- Qwen3-30B-A3B 能在 RTX 4090 上运行吗？
- Mixtral-8x7B-Instruct-v0.1 能在 RTX 4090 上运行吗？
- DeepSeek-V2-Lite-Chat 能在 RTX 4090 上运行吗？
- Qwen3.8-27B 能在 RTX 4090 上运行吗？
- Qwen3-32B 能在 RTX 4090 上运行吗？
- Mistral-Small-24B-Instruct-2501 能在 RTX 4090 上运行吗？
内存
- NVIDIAGeForce RTX 4090 Founders Edition / 24GB desktop
- 内存类型独立显存
- 标称24 GB GDDR6X
- 总容量24.00 GiB (25,769,803,776 bytes)
- 默认预留2.00 GiB (2,147,483,648 bytes)
- 净预算22.00 GiB (23,622,320,128 bytes)
保留量是可调的假设。无显示器的机器可以在计算器里调低。
两张这样的卡不等于一张更大的卡。除非引擎用张量并行拆分模型，每份模型都必须放进一张卡。
这张卡上的实测
- Qwen2.5-3B-Instruct Q4_K_M，512 token，llama.cpp：实测占用 2.31 GiB 显存 (2026-09-19,
rt-qwen2.5-3b-instruct-q4km-4090-ctx512) - Qwen2.5-3B-Instruct Q4_K_M，2,048 token，llama.cpp：实测占用 2.37 GiB 显存 (2026-09-19,
rt-qwen2.5-3b-instruct-q4km-4090-ctx2048) - Qwen2.5-3B-Instruct Q4_K_M，8,192 token，llama.cpp：实测占用 2.59 GiB 显存 (2026-09-19,
rt-qwen2.5-3b-instruct-q4km-4090-ctx8192)
相关页面
数据来源
- 来源 — Standard Memory Config 24 GB GDDR6X
计算器
正在加载已发布的目录快照…
选一块显卡或 Mac 看能跑哪些模型，或者选一个模型看它需要多少显存。
选一块显卡，看看能跑哪些模型。