RTX 3080（10 GB GDDR6X）能跑哪些本地大模型？

RTX 3080 有 10 GB GDDR6X。扣掉给系统和显示保留的 1 GiB，大约 9 GiB 可以给模型用。 8K 上下文时，列表里放得下的最大模型是 GLM-4-9B-0414（Q5_K_M，约 7.5 GiB）。 Mistral-Nemo-Instruct-2407（Q4_K_M）比较勉强（约 8.3 GiB–8.9 GiB）。

这些数字是根据模型 config 和文件大小算出的估算，不是实测。 计算方法

8K 时放得下哪些模型

每个模型用放得下的最高精度文件，一次一个对话。

放得下 (34)

模型量化合计
Qwen3-VL-8B-InstructGGUF Q6_K (Unsloth)7.5 GiB–8.1 GiB
Qwen3-8B-BaseGGUF Q6_K (mradermacher)7.5 GiB–8.1 GiB
Qwen3-8BGGUF Q6_K (Qwen)7.5 GiB–8.1 GiB
Qwen2.5-Math-7B-InstructGGUF Q6_K (bartowski)6.4 GiB–7.9 GiB
DeepSeek-R1-Distill-Llama-8BGGUF Q6_K (Unsloth)7.3 GiB–7.8 GiB
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)6.9 GiB–7.6 GiB
Llama 3.2 3B InstructOfficial BF16 safetensors7.0 GiB–7.5 GiB
GLM-4-9B-0414GGUF Q5_K_M (Unsloth)7.0 GiB–7.5 GiB
granite-3.3-8b-instructGGUF Q5_K_M (IBM)6.8 GiB–7.3 GiB
Mistral-7B-Instruct-v0.3GGUF Q6_K (bartowski)6.7 GiB–7.2 GiB
Qwen2.5-Coder-7BGGUF Q6_K (mradermacher)6.4 GiB–6.9 GiB
Qwen2.5-Coder-7B-InstructGGUF Q6_K (Qwen)6.4 GiB–6.9 GiB
Qwen2.5-7B-InstructGGUF Q6_K (Qwen)6.4 GiB–6.9 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q6_K (Unsloth)6.4 GiB–6.9 GiB
OpenMath-Nemotron-7BGGUF Q6_K (mradermacher)6.4 GiB–6.9 GiB
Qwen2.5-VL-7B-InstructGGUF Q6_K (Unsloth)6.4 GiB–6.9 GiB
Qwen2-7B-InstructGGUF Q6_K (Qwen)6.4 GiB–6.9 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5.2 GiB–5.8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5.2 GiB–5.8 GiB
Qwen3-4BGGUF Q8_05.2 GiB–5.8 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4.9 GiB–5.5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3.8 GiB–4.2 GiB
Qwen2.5-3B-InstructGGUF Q8_03.8 GiB–4.2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3.5 GiB–3.9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3.3 GiB–3.8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3.3 GiB–3.8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2.7 GiB–3.2 GiB
Qwen3-1.7BGGUF Q8_02.7 GiB–3.2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2.7 GiB–3.1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2.1 GiB–2.5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2.1 GiB–2.5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1.6 GiB–2.0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1.1 GiB–1.5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0.8 GiB–1.2 GiB

勉强放得下 (2)

模型量化合计
Gemma 3 12B ITGGUF Q4_0 (Google QAT)8.5 GiB–9.0 GiB
Mistral-Nemo-Instruct-2407GGUF Q4_K_M (Unsloth)8.3 GiB–8.9 GiB
放不下（50）

内存

保留量是可调的假设。无显示器的机器可以在计算器里调低。

两张这样的卡不等于一张更大的卡。除非引擎用张量并行拆分模型，每份模型都必须放进一张卡。

用这张卡打开计算器计算器

相关页面

数据来源

计算器

正在加载已发布的目录快照…

上下文长度

上下文越长，KV 缓存（模型记住对话用的内存）占用越多。

更多选项
运行时

这次估算使用的引擎和 KV 缓存类型。

关闭：GGUF、Q8 等筛选保持严格。打开：会显示替代项，并标明请求、实际使用和原因。

工作负载

开销场景，以及是否计入预填充工作区。

拓扑

模型如何切到多张设备上。各设备的显存不会相加。

副本数是高级部署选项。数量指节点或 GPU，不是副本。

预算

系统保留和安全余量。数字框清空时保留上一次的值。

GiB（2^30 字节）

%

选一块显卡或 Mac 看能跑哪些模型，或者选一个模型看它需要多少显存。