8GB 显存能跑什么大模型？（2026年10月）

GeForce RTX 3060 8GB (desktop) 是这个 8GB 独立显存档里净预算最小的目录显卡，扣掉已记录预留后为 7.00 GiB。有 32 个目录模型能用带文件体积的量化装下。月份来自数据集 2026-10-02.1（2026年10月），不是构建时刻。

目录数据集 2026-10-02.1（2026年10月）。

这一档里的目录显卡

显卡	标称容量	净预算
GeForce RTX 3060 8GB (desktop) 净预算最小	8 GB GDDR6	7.00 GiB
GeForce RTX 3070 8GB (desktop)	8 GB GDDR6	7.00 GiB
GeForce RTX 4060 8GB (desktop)	8 GB GDDR6	7.00 GiB
GeForce RTX 5060 Ti 8GB (desktop)	8 GB GDDR7	7.00 GiB

能装下的目录模型

每一行都是代表显卡上、带文件体积的一个量化，缺了的量化不会被替换。上下文最多搜到已记录的上限。没有这个上限时，只给出 8192 的判定。

目录里没有带宽时，解码上限记为没有数据。这不是显存够不够的判定。

模型	量化文件	能装下的最长上下文	含紧张档的最长上下文	8192 的判定	解码上限	链接
Qwen2.5-0.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 0.68 GiB–1.07 GiB	没有数据
Qwen3-0.6B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 1.37 GiB–1.81 GiB	没有数据
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	32,768	32,768	8192 余量充足 1.10 GiB–1.50 GiB	没有数据
Llama 3.2 1B Instruct	Official BF16 safetensors `bf16` · `vllm`	47,659	131,072	8192 放得下 3.18 GiB–5.06 GiB	没有数据
Qwen2.5-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 1.38 GiB–1.80 GiB	没有数据
Qwen2.5-Coder-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 1.38 GiB–1.80 GiB	没有数据
SmolLM2-1.7B-Instruct	GGUF Q4_K_M (Hugging Face) `gguf-q4_k_m` · `llama.cpp`	8,192	8,192	8192 余量充足 2.61 GiB–3.11 GiB	没有数据
Qwen3-1.7B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.03 GiB–2.49 GiB	没有数据
Qwen3-1.7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余量充足 2.03 GiB–2.49 GiB	没有数据
Qwen2.5-3B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.37 GiB–2.80 GiB	没有数据
Qwen2.5-Coder-3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余量充足 2.37 GiB–2.80 GiB	没有数据
Qwen2.5-VL-3B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	107,979	128,000	8192 余量充足 2.20 GiB–2.63 GiB	没有数据
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	8,999	12,687	8192 放得下 5.35 GiB–5.98 GiB	没有数据	Phi-3.5-mini-instruct · GeForce RTX 4060 8GB (desktop)
Phi-4-mini-instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	26,282	37,308	8192 余量充足 3.45 GiB–3.94 GiB	没有数据
Qwen3-4B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	23,326	33,126	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Qwen3-4B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23,326	33,126	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131,072	131,072	8192 余量充足 3.33 GiB–3.79 GiB	没有数据
Qwen3-VL-4B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23,326	33,126	8192 余量充足 3.58 GiB–4.08 GiB	没有数据
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	12,602	22,958	8192 放得下 5.20 GiB–5.72 GiB	没有数据
DeepSeek-R1-Distill-Qwen-7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23,647	47,065	8192 放得下 4.92 GiB–5.42 GiB	没有数据
OpenMath-Nemotron-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	23,647	47,065	8192 放得下 4.92 GiB–5.42 GiB	没有数据
Qwen2-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23,647	32,768	8192 放得下 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-7B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	23,647	32,768	8192 放得下 4.92 GiB–5.42 GiB	没有数据	Qwen2.5-7B-Instruct · GeForce RTX 4060 8GB (desktop)
Qwen2.5-Coder-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	23,647	32,768	8192 放得下 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-Coder-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23,647	32,768	8192 放得下 4.92 GiB–5.42 GiB	没有数据
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	4,096	4,096	8192 放得下 · 粗估 4.92 GiB–6.23 GiB	没有数据
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	8,617	18,777	8192 放得下 5.71 GiB–6.24 GiB	没有数据
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM) `gguf-q4_k_m` · `llama.cpp`	7,096	14,887	8192 勉强放得下 5.98 GiB–6.53 GiB	没有数据
Qwen3-8B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	7,309	15,965	8192 勉强放得下 5.93 GiB–6.48 GiB	没有数据
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	7,309	15,965	8192 勉强放得下 5.93 GiB–6.48 GiB	没有数据
Qwen2.5-VL-7B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23,647	47,065	8192 放得下 4.92 GiB–5.42 GiB	没有数据
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	7,309	15,965	8192 勉强放得下 5.93 GiB–6.48 GiB	没有数据