RTX 3080（10 GB GDDR6X）で動くローカルLLM
RTX 3080 のメモリは 10 GB GDDR6X です。OS と画面表示用に 1 GiB を予約すると、モデルに使えるのは約 9 GiB です。 8K コンテキストで収まる一覧中最大のモデルは GLM-4-9B-0414（Q5_K_M、約 7.5 GiB）です。 Mistral-Nemo-Instruct-2407（Q4_K_M）はぎりぎりです（約 8.3 GiB–8.9 GiB）。
これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法
8K で収まるモデル
各モデルは収まる中で最も精度の高いファイルを使い、同時に 1 会話です。
収まる (34)
| モデル | 量子化 | 合計 |
|---|---|---|
| Qwen3-VL-8B-Instruct | GGUF Q6_K (Unsloth) | 7.5 GiB–8.1 GiB |
| Qwen3-8B-Base | GGUF Q6_K (mradermacher) | 7.5 GiB–8.1 GiB |
| Qwen3-8B | GGUF Q6_K (Qwen) | 7.5 GiB–8.1 GiB |
| Qwen2.5-Math-7B-Instruct | GGUF Q6_K (bartowski) | 6.4 GiB–7.9 GiB |
| DeepSeek-R1-Distill-Llama-8B | GGUF Q6_K (Unsloth) | 7.3 GiB–7.8 GiB |
| Phi-3.5-mini-instruct | GGUF Q8_0 (bartowski) | 6.9 GiB–7.6 GiB |
| Llama 3.2 3B Instruct | Official BF16 safetensors | 7.0 GiB–7.5 GiB |
| GLM-4-9B-0414 | GGUF Q5_K_M (Unsloth) | 7.0 GiB–7.5 GiB |
| granite-3.3-8b-instruct | GGUF Q5_K_M (IBM) | 6.8 GiB–7.3 GiB |
| Mistral-7B-Instruct-v0.3 | GGUF Q6_K (bartowski) | 6.7 GiB–7.2 GiB |
| Qwen2.5-Coder-7B | GGUF Q6_K (mradermacher) | 6.4 GiB–6.9 GiB |
| Qwen2.5-Coder-7B-Instruct | GGUF Q6_K (Qwen) | 6.4 GiB–6.9 GiB |
| Qwen2.5-7B-Instruct | GGUF Q6_K (Qwen) | 6.4 GiB–6.9 GiB |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q6_K (Unsloth) | 6.4 GiB–6.9 GiB |
| OpenMath-Nemotron-7B | GGUF Q6_K (mradermacher) | 6.4 GiB–6.9 GiB |
| Qwen2.5-VL-7B-Instruct | GGUF Q6_K (Unsloth) | 6.4 GiB–6.9 GiB |
| Qwen2-7B-Instruct | GGUF Q6_K (Qwen) | 6.4 GiB–6.9 GiB |
| Qwen3-VL-4B-Instruct | GGUF Q8_0 (Qwen) | 5.2 GiB–5.8 GiB |
| Qwen3-4B-Instruct-2507 | GGUF Q8_0 (Unsloth) | 5.2 GiB–5.8 GiB |
| Qwen3-4B | GGUF Q8_0 | 5.2 GiB–5.8 GiB |
| Phi-4-mini-instruct | GGUF Q8_0 (Unsloth) | 4.9 GiB–5.5 GiB |
| Qwen2.5-Coder-3B-Instruct | GGUF Q8_0 (Qwen) | 3.8 GiB–4.2 GiB |
| Qwen2.5-3B-Instruct | GGUF Q8_0 | 3.8 GiB–4.2 GiB |
| Qwen2.5-VL-3B-Instruct | GGUF Q8_0 (Unsloth) | 3.5 GiB–3.9 GiB |
| SmolLM2-1.7B-Instruct | GGUF Q8_0 (Unsloth) | 3.3 GiB–3.8 GiB |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT) | 3.3 GiB–3.8 GiB |
| Qwen3-1.7B-Base | GGUF Q8_0 (mradermacher) | 2.7 GiB–3.2 GiB |
| Qwen3-1.7B | GGUF Q8_0 | 2.7 GiB–3.2 GiB |
| Llama 3.2 1B Instruct | Official BF16 safetensors | 2.7 GiB–3.1 GiB |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2.1 GiB–2.5 GiB |
| Qwen2.5-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2.1 GiB–2.5 GiB |
| Qwen3-0.6B | GGUF Q8_0 (Qwen) | 1.6 GiB–2.0 GiB |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT) | 1.1 GiB–1.5 GiB |
| Qwen2.5-0.5B-Instruct | GGUF Q8_0 (Qwen) | 0.8 GiB–1.2 GiB |
ぎりぎり (2)
| モデル | 量子化 | 合計 |
|---|---|---|
| Gemma 3 12B IT | GGUF Q4_0 (Google QAT) | 8.5 GiB–9.0 GiB |
| Mistral-Nemo-Instruct-2407 | GGUF Q4_K_M (Unsloth) | 8.3 GiB–8.9 GiB |
収まらない（50）
- Qwen3-14B · Q4_K_M · 10.4 GiB
- phi-4 · Q4_K_M · 10.6 GiB
- OpenMath-Nemotron-14B · Q4_K_M · 10.6 GiB
- Qwen2.5-Coder-14B-Instruct · Q4_K_M · 10.6 GiB
- Qwen2.5-14B-Instruct · Q4_K_M · 10.6 GiB
- Phi-4-reasoning · Q4_K_M · 10.8 GiB
- DeepSeek-V2-Lite-Chat · Q4_K_M · 12.2 GiB
- Qwen3.8-27B · UD-IQ3_XXS · 13.3 GiB
- gpt-oss-20b · MXFP4 · 13.8 GiB
- Mistral-Small-24B-Instruct-2501 · Q4_K_M · 15.5 GiB
- Llama 3.1 8B Instruct · BF16 · 16.8 GiB
- Gemma 3 27B IT · Q4_0 · 18 GiB
- Qwen3-30B-A3B · Q4_K_M · 18.9 GiB
- Qwen3-30B-A3B-Instruct-2507 · Q4_K_M · 18.9 GiB
- Qwen3-VL-30B-A3B-Instruct · Q4_K_M · 18.9 GiB
- Qwen3-32B · Q4_K_M · 21.4 GiB
- OpenMath-Nemotron-32B · Q4_K_M · 21.5 GiB
- Qwen2.5-VL-32B-Instruct · Q4_K_M · 21.5 GiB
- DeepSeek-R1-Distill-Qwen-32B · Q4_K_M · 21.5 GiB
- QwQ-32B · Q4_K_M · 21.5 GiB
- Qwen2.5-Coder-32B-Instruct · Q4_K_M · 21.5 GiB
- Qwen2.5-32B-Instruct · Q4_K_M · 21.5 GiB
- Drama 3 · Unofficial int4 W4A16 · 27 GiB
- Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28.6 GiB
- Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43.6 GiB
- Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
- Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47.3 GiB
- gpt-oss-120b · MXFP4 · 62.8 GiB
- GLM-4.5-Air · Q4_K_M · 71.4 GiB
- Qwen3.8-Flash-Next · Q4_K_M · 131.5 GiB
- MiniMax-M2 · Q4_K_M · 134 GiB
- Qwen3-235B-A22B · Q4_K_M · 137.1 GiB
- Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137.1 GiB
- Llama 3.3 70B Instruct · BF16 · 137.2 GiB
- DeepSeek-V4-Flash-0731 · FP8 · 183.7 GiB
- GLM-4.6 · Q4_K_M · 208.4 GiB
- GLM-4.5 · Q4_K_M · 209.2 GiB
- MiniMax-M3 · Q4_K_M · 249.7 GiB
- GLM-5.3-Flash · Q8_0 · 373.6 GiB
- DeepSeek-V3 · Q4_K_M · 443.1 GiB
- DeepSeek-R1 · Q4_K_M · 443.1 GiB
- DeepSeek-V3-0324 · Q4_K_M · 443.1 GiB
- DeepSeek-R1-0528 · Q4_K_M · 443.7 GiB
- DeepSeek-V3.1 · Q4_K_M · 444.2 GiB
- Muse Spark Open · NVFP4 · 508.9 GiB
- DeepSeek-V4.1-Flash · FP8 · 558.8 GiB
- Ling-3.1-flash · FP8 · 628.3 GiB
- Kimi-K2-Instruct · Q4_K_M · 679.5 GiB
- Kimi-K2-Thinking · Q4_K_M · 680 GiB
- GLM-5.3 · Q8_0 · 877 GiB
メモリ
- NVIDIAGeForce RTX 3080 10GB desktop
- メモリ種別専用 VRAM
- 公称10 GB GDDR6X
- 総容量10.00 GiB (10,737,418,240 bytes)
- 既定予約1.00 GiB (1,073,741,824 bytes)
- 正味予算9.00 GiB (9,663,676,416 bytes)
予約量は調整できる前提です。画面を出さないマシンなら計算機で下げられます。
このカード 2 枚は 1 枚の大きなカードにはなりません。エンジンがテンソル並列で分割しない限り、モデル 1 つ分が 1 枚に収まる必要があります。
関連ページ
出典
- 出典 — RTX 3080 Standard Memory Config 12 GB GDDR6X / 10 GB GDDR6X; Memory Interface Width 384-bit / 320-bit (the 10 GB card is the 320-bit one)
計算機
公開カタログスナップショットを読み込み中…
GPU か Mac を選ぶと動くモデルが、モデルを選ぶと必要なメモリがわかります。
GPU を選ぶと動くモデルがわかります。