RTX 4060（8 GB GDDR6）能跑哪些本地大模型？

RTX 4060 有 8 GB GDDR6。扣掉给系统和显示保留的 1 GiB，大约 7 GiB 可以给模型用。 8K 上下文时，列表里放得下的最大模型是 Qwen2-7B-Instruct（Q5_K_M，约 6.1 GiB）。 GLM-4-9B-0414（Q4_K_M）比较勉强（约 6.2 GiB–6.7 GiB）。

这些数字是根据模型 config 和文件大小算出的估算，不是实测。计算方法

8K 时放得下哪些模型

每个模型用放得下的最高精度文件，一次一个对话。

放得下 (28)

模型	量化	合计
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth)	5.7 GiB–6.2 GiB
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski)	4.9 GiB–6.2 GiB
Qwen2.5-Coder-7B	GGUF Q5_K_M (mradermacher)	5.6 GiB–6.1 GiB
Qwen2.5-7B-Instruct	GGUF Q5_K_M	5.6 GiB–6.1 GiB
Qwen2.5-Coder-7B-Instruct	GGUF Q5_K_M (Qwen)	5.6 GiB–6.1 GiB
DeepSeek-R1-Distill-Qwen-7B	GGUF Q5_K_M (Unsloth)	5.6 GiB–6.1 GiB
OpenMath-Nemotron-7B	GGUF Q5_K_M (mradermacher)	5.6 GiB–6.1 GiB
Qwen2.5-VL-7B-Instruct	GGUF Q5_K_M (Unsloth)	5.6 GiB–6.1 GiB
Qwen2-7B-Instruct	GGUF Q5_K_M (Qwen)	5.6 GiB–6.1 GiB
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski)	5.4 GiB–6.0 GiB
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen)	5.2 GiB–5.8 GiB
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth)	5.2 GiB–5.8 GiB
Qwen3-4B	GGUF Q8_0	5.2 GiB–5.8 GiB
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski)	5.2 GiB–5.7 GiB
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth)	4.9 GiB–5.5 GiB
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen)	3.8 GiB–4.2 GiB
Qwen2.5-3B-Instruct	GGUF Q8_0	3.8 GiB–4.2 GiB
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth)	3.5 GiB–3.9 GiB
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth)	3.3 GiB–3.8 GiB
Gemma 3 4B IT	GGUF Q4_0 (Google QAT)	3.3 GiB–3.8 GiB
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher)	2.7 GiB–3.2 GiB
Qwen3-1.7B	GGUF Q8_0	2.7 GiB–3.2 GiB
Llama 3.2 1B Instruct	Official BF16 safetensors	2.7 GiB–3.1 GiB
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen)	2.1 GiB–2.5 GiB
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen)	2.1 GiB–2.5 GiB
Qwen3-0.6B	GGUF Q8_0 (Qwen)	1.6 GiB–2.0 GiB
Gemma 3 1B IT	GGUF Q4_0 (Google QAT)	1.1 GiB–1.5 GiB
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen)	0.8 GiB–1.2 GiB

勉强放得下 (6)

模型	量化	合计
Llama 3.2 3B Instruct	Official BF16 safetensors	7.0 GiB–7.5 GiB
GLM-4-9B-0414	GGUF Q4_K_M (Unsloth)	6.2 GiB–6.7 GiB
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM)	6.0 GiB–6.5 GiB
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen)	5.9 GiB–6.5 GiB
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher)	5.9 GiB–6.5 GiB
Qwen3-8B	GGUF Q4_K_M	5.9 GiB–6.5 GiB

放不下（52）

Mistral-Nemo-Instruct-2407 · Q4_K_M · 8.9 GiB
Gemma 3 12B IT · Q4_0 · 9 GiB
Qwen3-14B · Q4_K_M · 10.4 GiB
phi-4 · Q4_K_M · 10.6 GiB
OpenMath-Nemotron-14B · Q4_K_M · 10.6 GiB
Qwen2.5-Coder-14B-Instruct · Q4_K_M · 10.6 GiB
Qwen2.5-14B-Instruct · Q4_K_M · 10.6 GiB
Phi-4-reasoning · Q4_K_M · 10.8 GiB
DeepSeek-V2-Lite-Chat · Q4_K_M · 12.2 GiB
Qwen3.8-27B · UD-IQ3_XXS · 13.3 GiB
gpt-oss-20b · MXFP4 · 13.8 GiB
Mistral-Small-24B-Instruct-2501 · Q4_K_M · 15.5 GiB
Llama 3.1 8B Instruct · BF16 · 16.8 GiB
Gemma 3 27B IT · Q4_0 · 18 GiB
Qwen3-30B-A3B · Q4_K_M · 18.9 GiB
Qwen3-30B-A3B-Instruct-2507 · Q4_K_M · 18.9 GiB
Qwen3-VL-30B-A3B-Instruct · Q4_K_M · 18.9 GiB
Qwen3-32B · Q4_K_M · 21.4 GiB
OpenMath-Nemotron-32B · Q4_K_M · 21.5 GiB
Qwen2.5-VL-32B-Instruct · Q4_K_M · 21.5 GiB
DeepSeek-R1-Distill-Qwen-32B · Q4_K_M · 21.5 GiB
QwQ-32B · Q4_K_M · 21.5 GiB
Qwen2.5-Coder-32B-Instruct · Q4_K_M · 21.5 GiB
Qwen2.5-32B-Instruct · Q4_K_M · 21.5 GiB
Drama 3 · Unofficial int4 W4A16 · 27 GiB
Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28.6 GiB
Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43.6 GiB
Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47.3 GiB
gpt-oss-120b · MXFP4 · 62.8 GiB
GLM-4.5-Air · Q4_K_M · 71.4 GiB
Qwen3.8-Flash-Next · Q4_K_M · 131.5 GiB
MiniMax-M2 · Q4_K_M · 134 GiB
Qwen3-235B-A22B · Q4_K_M · 137.1 GiB
Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137.1 GiB
Llama 3.3 70B Instruct · BF16 · 137.2 GiB
DeepSeek-V4-Flash-0731 · FP8 · 183.7 GiB
GLM-4.6 · Q4_K_M · 208.4 GiB
GLM-4.5 · Q4_K_M · 209.2 GiB
MiniMax-M3 · Q4_K_M · 249.7 GiB
GLM-5.3-Flash · Q8_0 · 373.6 GiB
DeepSeek-V3 · Q4_K_M · 443.1 GiB
DeepSeek-R1 · Q4_K_M · 443.1 GiB
DeepSeek-V3-0324 · Q4_K_M · 443.1 GiB
DeepSeek-R1-0528 · Q4_K_M · 443.7 GiB
DeepSeek-V3.1 · Q4_K_M · 444.2 GiB
Muse Spark Open · NVFP4 · 508.9 GiB
DeepSeek-V4.1-Flash · FP8 · 558.8 GiB
Ling-3.1-flash · FP8 · 628.3 GiB
Kimi-K2-Instruct · Q4_K_M · 679.5 GiB
Kimi-K2-Thinking · Q4_K_M · 680 GiB
GLM-5.3 · Q8_0 · 877 GiB

具体组合检查

内存

NVIDIAGeForce RTX 4060 8GB desktop
内存类型独立显存
标称8 GB GDDR6
总容量8.00 GiB (8,589,934,592 bytes)
默认预留1.00 GiB (1,073,741,824 bytes)
净预算7.00 GiB (7,516,192,768 bytes)

保留量是可调的假设。无显示器的机器可以在计算器里调低。

两张这样的卡不等于一张更大的卡。除非引擎用张量并行拆分模型，每份模型都必须放进一张卡。

用这张卡打开计算器计算器

数据来源

来源 — Memory Size 8 GB GDDR6

计算器

正在加载已发布的目录快照…

你的显卡或 Mac

模型

上下文长度

上下文越长，KV 缓存（模型记住对话用的内存）占用越多。

更多选项

显示历史模型

运行时

这次估算使用的引擎和 KV 缓存类型。

量化筛选筛选无匹配时允许替代

关闭：GGUF、Q8 等筛选保持严格。打开：会显示替代项，并标明请求、实际使用和原因。

运行引擎KV Cache 精度循环 / 卷积状态精度包含理论估算（专家）

工作负载

开销场景，以及是否计入预填充工作区。

运行时开销情景计入更重的预填充工作区

拓扑

模型如何切到多张设备上。各设备的显存不会相加。

部署方式组内切分设备数量

副本数是高级部署选项。数量指节点或 GPU，不是副本。

副本组数每个副本的设备数

预算

系统保留和安全余量。数字框清空时保留上一次的值。

系统 / 显示预留

GiB（2^30 字节）

预算已经扣除系统占用额外安全余量

自定义每参数有效 bit 数显示单位

选一块显卡或 Mac 看能跑哪些模型，或者选一个模型看它需要多少显存。