48GB 显存能跑什么大模型？（2026年10月）

NVIDIA L40S 48GB 是这个 48GB 独立显存档里净预算最小的目录显卡，扣掉已记录预留后为 46.00 GiB。有 61 个目录模型能用带文件体积的量化装下。月份来自数据集 2026-10-02.1（2026年10月），不是构建时刻。

目录数据集 2026-10-02.1（2026年10月）。

这一档里的目录显卡

显卡	标称容量	净预算
NVIDIA L40S 48GB 净预算最小	48GB GDDR6 with ECC	46.00 GiB

能装下的目录模型

每一行都是代表显卡上、带文件体积的一个量化，缺了的量化不会被替换。上下文最多搜到已记录的上限。没有这个上限时，只给出 8192 的判定。

目录里没有带宽时，解码上限记为没有数据。这不是显存够不够的判定。

模型	量化文件	能装下的最长上下文	含紧张档的最长上下文	8192 的判定	解码上限
Qwen2.5-0.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 0.68 GiB–1.07 GiB	没有数据
Qwen3-0.6B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 1.37 GiB–1.81 GiB	没有数据
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	32,768	32,768	8192 余量充足 1.10 GiB–1.50 GiB	没有数据
Llama 3.2 1B Instruct	Official BF16 safetensors `bf16` · `vllm`	131,072	131,072	8192 余量充足 3.18 GiB–5.06 GiB	没有数据
Qwen2.5-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 1.38 GiB–1.80 GiB	没有数据
Qwen2.5-Coder-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 1.38 GiB–1.80 GiB	没有数据
SmolLM2-1.7B-Instruct	GGUF Q4_K_M (Hugging Face) `gguf-q4_k_m` · `llama.cpp`	8,192	8,192	8192 余量充足 2.61 GiB–3.11 GiB	没有数据
Qwen3-1.7B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.03 GiB–2.49 GiB	没有数据
Qwen3-1.7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 2.03 GiB–2.49 GiB	没有数据
Qwen2.5-3B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.37 GiB–2.80 GiB	没有数据
Qwen2.5-Coder-3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.37 GiB–2.80 GiB	没有数据
Llama 3.2 3B Instruct	Official BF16 safetensors `bf16` · `vllm`	131,072	131,072	8192 余量充足 7.48 GiB–9.39 GiB	没有数据
Qwen2.5-VL-3B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128,000	128,000	8192 余量充足 2.20 GiB–2.63 GiB	没有数据
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	100,730	119,183	8192 余量充足 5.35 GiB–5.98 GiB	没有数据
Phi-4-mini-instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 3.45 GiB–3.94 GiB	没有数据
Qwen3-4B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Qwen3-4B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	262,144	262,144	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131,072	131,072	8192 余量充足 3.33 GiB–3.79 GiB	没有数据
Qwen3-VL-4B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	262,144	262,144	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 5.20 GiB–5.72 GiB	没有数据
DeepSeek-R1-Distill-Qwen-7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
OpenMath-Nemotron-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-7B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-Coder-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-Coder-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	4,096	4,096	8192 余量充足 · 粗估 4.92 GiB–6.23 GiB	没有数据
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 5.71 GiB–6.24 GiB	没有数据
Llama 3.1 8B Instruct	Official BF16 safetensors `bf16` · `vllm`	131,072	131,072	8192 余量充足 16.58 GiB–18.49 GiB	没有数据
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 5.98 GiB–6.53 GiB	没有数据
Qwen3-8B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 5.93 GiB–6.48 GiB	没有数据
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 5.93 GiB–6.48 GiB	没有数据
Qwen2.5-VL-7B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128,000	128,000	8192 余量充足 4.92 GiB–5.42 GiB	没有数据
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	250,749	262,144	8192 余量充足 5.93 GiB–6.48 GiB	没有数据
GLM-4-9B-0414	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 6.18 GiB–6.69 GiB	没有数据
Gemma 3 12B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131,072	131,072	8192 余量充足 8.46 GiB–9.04 GiB	没有数据
Mistral-Nemo-Instruct-2407	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 8.34 GiB–8.94 GiB	没有数据
phi-4	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	16,384	16,384	8192 余量充足 9.97 GiB–10.62 GiB	没有数据
Phi-4-reasoning	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 10.12 GiB–10.77 GiB	没有数据
Qwen3-14B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 9.76 GiB–10.39 GiB	没有数据
OpenMath-Nemotron-14B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余量充足 10.00 GiB–10.64 GiB	没有数据
Qwen2.5-14B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 10.00 GiB–10.64 GiB	没有数据
Qwen2.5-Coder-14B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 10.00 GiB–10.64 GiB	没有数据
DeepSeek-V2-Lite-Chat	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	163,840	163,840	8192 余量充足 · 粗估 10.01 GiB–12.23 GiB	没有数据
gpt-oss-20b	MXFP4 safetensors `mxfp4` · `vllm`	131,072	131,072	8192 余量充足 13.63 GiB–15.51 GiB	没有数据
Mistral-Small-24B-Instruct-2501	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 14.72 GiB–15.45 GiB	没有数据
Gemma 3 27B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131,072	131,072	8192 余量充足 17.20 GiB–17.97 GiB	没有数据
Qwen3.8-27B	GGUF UD-IQ1_S (Unsloth) `gguf-ud-iq1_s` · `llama.cpp`	262,144	262,144	8192 余量充足 · 粗估 6.54 GiB–8.14 GiB	没有数据
Qwen3-30B-A3B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 18.16 GiB–18.93 GiB	没有数据
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	238,500	262,144	8192 余量充足 18.16 GiB–18.93 GiB	没有数据
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	238,500	262,144	8192 余量充足 18.16 GiB–18.93 GiB	没有数据
Qwen3-32B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 20.53 GiB–21.41 GiB	没有数据
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	84,499	112,177	8192 余量充足 20.61 GiB–21.50 GiB	没有数据
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	84,499	112,177	8192 余量充足 20.61 GiB–21.50 GiB	没有数据
Qwen2.5-32B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 20.61 GiB–21.50 GiB	没有数据
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 20.61 GiB–21.50 GiB	没有数据
QwQ-32B	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 20.61 GiB–21.50 GiB	没有数据
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	84,499	112,177	8192 余量充足 20.61 GiB–21.50 GiB	没有数据
Drama 3	Unofficial int4 W4A16 (GPTQ-Marlin, with codec) `int4-w4a16-community` · `sglang`	262,144	262,144	8192 余量充足 · 粗估 22.61 GiB–26.64 GiB	没有数据
Mixtral-8x7B-Instruct-v0.1	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 27.62 GiB–28.59 GiB	没有数据
Llama-3.1-Nemotron-70B-Instruct-HF	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	1,631	20,561	8192 勉强放得下 42.23 GiB–43.57 GiB	没有数据