24GB 显存能跑什么大模型？（2026年10月）

Radeon RX 7900 XTX 24GB (desktop) 是这个 24GB 独立显存档里净预算最小的目录显卡，扣掉已记录预留后为 22.00 GiB。有 58 个目录模型能用带文件体积的量化装下。月份来自数据集 2026-10-02.1（2026年10月），不是构建时刻。

目录数据集 2026-10-02.1（2026年10月）。

这一档里的目录显卡

显卡	标称容量	净预算
Radeon RX 7900 XTX 24GB (desktop) 净预算最小	24 GB GDDR6	22.00 GiB
GeForce RTX 3090 24GB (desktop)	24 GB GDDR6X	22.00 GiB
GeForce RTX 4090 24GB (desktop)	24 GB GDDR6X	22.00 GiB

能装下的目录模型

每一行都是代表显卡上、带文件体积的一个量化，缺了的量化不会被替换。上下文最多搜到已记录的上限。没有这个上限时，只给出 8192 的判定。

目录里没有带宽时，解码上限记为没有数据。这不是显存够不够的判定。

模型	量化文件	能装下的最长上下文	含紧张档的最长上下文	8192 的判定	解码上限	链接
Qwen2.5-0.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 0.68 GiB–1.07 GiB	没有数据
Qwen3-0.6B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 1.37 GiB–1.81 GiB	没有数据
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	32,768	32,768	8192 余量充足 1.10 GiB–1.50 GiB	没有数据
Llama 3.2 1B Instruct	Official BF16 safetensors `bf16` · `vllm`	131,072	131,072	8192 余量充足 3.18 GiB–5.06 GiB	没有数据
Qwen2.5-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 1.38 GiB–1.80 GiB	没有数据
Qwen2.5-Coder-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 1.38 GiB–1.80 GiB	没有数据
SmolLM2-1.7B-Instruct	GGUF Q4_K_M (Hugging Face) `gguf-q4_k_m` · `llama.cpp`	8,192	8,192	8192 余量充足 2.61 GiB–3.11 GiB	没有数据
Qwen3-1.7B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.03 GiB–2.49 GiB	没有数据
Qwen3-1.7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 2.03 GiB–2.49 GiB	没有数据
Qwen2.5-3B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.37 GiB–2.80 GiB	没有数据	Qwen2.5-3B-Instruct · GeForce RTX 4090 24GB (desktop)
Qwen2.5-Coder-3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.37 GiB–2.80 GiB	没有数据
Llama 3.2 3B Instruct	Official BF16 safetensors `bf16` · `vllm`	102,855	131,072	8192 余量充足 7.48 GiB–9.39 GiB	没有数据
Qwen2.5-VL-3B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128,000	128,000	8192 余量充足 2.20 GiB–2.63 GiB	没有数据
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	43,452	53,647	8192 余量充足 5.35 GiB–5.98 GiB	没有数据
Phi-4-mini-instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	129,639	131,072	8192 余量充足 3.45 GiB–3.94 GiB	没有数据
Qwen3-4B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Qwen3-4B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	115,199	142,353	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131,072	131,072	8192 余量充足 3.33 GiB–3.79 GiB	没有数据
Qwen3-VL-4B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	115,199	142,353	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 5.20 GiB–5.72 GiB	没有数据
DeepSeek-R1-Distill-Qwen-7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
OpenMath-Nemotron-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-7B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 4.92 GiB–5.42 GiB	没有数据	Qwen2.5-7B-Instruct · Radeon RX 7900 XTX 24GB (desktop) Qwen2.5-7B-Instruct · GeForce RTX 4090 24GB (desktop)
Qwen2.5-Coder-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-Coder-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	4,096	4,096	8192 余量充足 · 粗估 4.92 GiB–6.23 GiB	没有数据
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	111,974	131,072	8192 余量充足 5.71 GiB–6.24 GiB	没有数据
Llama 3.1 8B Instruct	Official BF16 safetensors `bf16` · `vllm`	18,630	52,571	8192 放得下 16.58 GiB–18.49 GiB	没有数据
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM) `gguf-q4_k_m` · `llama.cpp`	89,450	113,191	8192 余量充足 5.98 GiB–6.53 GiB	没有数据
Qwen3-8B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 5.93 GiB–6.48 GiB	没有数据
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 5.93 GiB–6.48 GiB	没有数据
Qwen2.5-VL-7B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128,000	128,000	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	98,840	125,192	8192 余量充足 5.93 GiB–6.48 GiB	没有数据
GLM-4-9B-0414	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 6.18 GiB–6.69 GiB	没有数据
Gemma 3 12B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131,072	131,072	8192 余量充足 8.46 GiB–9.04 GiB	没有数据
Mistral-Nemo-Instruct-2407	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	74,705	97,722	8192 余量充足 8.34 GiB–8.94 GiB	没有数据
phi-4	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	16,384	16,384	8192 余量充足 9.97 GiB–10.62 GiB	没有数据
Phi-4-reasoning	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 10.12 GiB–10.77 GiB	没有数据
Qwen3-14B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 9.76 GiB–10.39 GiB	没有数据
OpenMath-Nemotron-14B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	54,928	73,750	8192 余量充足 10.00 GiB–10.64 GiB	没有数据
Qwen2.5-14B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 10.00 GiB–10.64 GiB	没有数据	Qwen2.5-14B-Instruct · GeForce RTX 4090 24GB (desktop)
Qwen2.5-Coder-14B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 10.00 GiB–10.64 GiB	没有数据
DeepSeek-V2-Lite-Chat	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	163,840	163,840	8192 余量充足 · 粗估 10.01 GiB–12.23 GiB	没有数据	DeepSeek-V2-Lite-Chat · GeForce RTX 4090 24GB (desktop)
gpt-oss-20b	MXFP4 safetensors `mxfp4` · `vllm`	131,072	131,072	8192 放得下 13.63 GiB–15.51 GiB	没有数据
Mistral-Small-24B-Instruct-2501	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 放得下 14.72 GiB–15.45 GiB	没有数据
Gemma 3 27B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	30,600	71,072	8192 放得下 17.20 GiB–17.97 GiB	没有数据
Qwen3.8-27B	GGUF UD-IQ1_S (Unsloth) `gguf-ud-iq1_s` · `llama.cpp`	163,484	261,490	8192 余量充足 · 粗估 6.54 GiB–8.14 GiB	没有数据	Qwen3.8-27B · GeForce RTX 4090 24GB (desktop)
Qwen3-30B-A3B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	17,068	40,960	8192 放得下 18.16 GiB–18.93 GiB	没有数据	Qwen3-30B-A3B · GeForce RTX 4090 24GB (desktop)
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	17,068	50,164	8192 放得下 18.16 GiB–18.93 GiB	没有数据
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	17,068	50,164	8192 放得下 18.16 GiB–18.93 GiB	没有数据
Qwen3-32B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	2,116	14,213	8192 勉强放得下 20.53 GiB–21.41 GiB	没有数据
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	1,775	13,873	8192 勉强放得下 20.61 GiB–21.50 GiB	没有数据
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	1,775	13,873	8192 勉强放得下 20.61 GiB–21.50 GiB	没有数据
Qwen2.5-32B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	1,775	13,873	8192 勉强放得下 20.61 GiB–21.50 GiB	没有数据	Qwen2.5-32B-Instruct · GeForce RTX 4090 24GB (desktop)
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	1,775	13,873	8192 勉强放得下 20.61 GiB–21.50 GiB	没有数据
QwQ-32B	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	1,775	13,873	8192 勉强放得下 20.61 GiB–21.50 GiB	没有数据
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	1,775	13,873	8192 勉强放得下 20.61 GiB–21.50 GiB	没有数据

24GB 显存能跑什么大模型？（2026年10月）

这一档里的目录显卡

能装下的目录模型

已收录的组合页