RTX 4080 SUPER（16 GB GDDR6X）で動くローカルLLM

RTX 4080 SUPER のメモリは 16 GB GDDR6X です。OS と画面表示用に 2 GiB を予約すると、モデルに使えるのは約 14 GiB です。 8K コンテキストで収まる一覧中最大のモデルは DeepSeek-V2-Lite-Chat（Q4_K_M、約 12.2 GiB）です。 Qwen3.8-27B（UD-IQ3_XXS）はぎりぎりです（約 11 GiB–13.3 GiB）。

これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法

8K で収まるモデル

各モデルは収まる中で最も精度の高いファイルを使い、同時に 1 会話です。

収まる (43)

モデル量子化合計
Phi-4-reasoningGGUF Q5_K_M (Unsloth)11.6 GiB–12.2 GiB
DeepSeek-V2-Lite-ChatGGUF Q4_K_M (mradermacher)10.0 GiB–12.2 GiB
Qwen2.5-14B-InstructGGUF Q5_K_M (Qwen)11.4 GiB–12.1 GiB
Qwen2.5-Coder-14B-InstructGGUF Q5_K_M (Qwen)11.4 GiB–12.1 GiB
OpenMath-Nemotron-14BGGUF Q5_K_M (mradermacher)11.4 GiB–12.1 GiB
phi-4GGUF Q5_K_M (Unsloth)11.4 GiB–12.1 GiB
Qwen3-14BGGUF Q5_K_M (Qwen)11.2 GiB–11.8 GiB
Mistral-Nemo-Instruct-2407GGUF Q6_K (Unsloth)10.7 GiB–11.4 GiB
GLM-4-9B-0414GGUF Q8_0 (Unsloth)9.8 GiB–10.3 GiB
granite-3.3-8b-instructGGUF Q8_0 (IBM)9.5 GiB–10.1 GiB
Qwen3-VL-8B-InstructGGUF Q8_0 (Qwen)9.4 GiB–10.0 GiB
Qwen3-8B-BaseGGUF Q8_0 (mradermacher)9.4 GiB–10.0 GiB
Qwen3-8BGGUF Q8_09.4 GiB–10.0 GiB
Qwen2.5-Math-7B-InstructGGUF Q8_0 (bartowski)8.1 GiB–10.0 GiB
DeepSeek-R1-Distill-Llama-8BGGUF Q8_0 (Unsloth)9.1 GiB–9.7 GiB
Gemma 3 12B ITGGUF Q4_0 (Google QAT)8.5 GiB–9.0 GiB
Mistral-7B-Instruct-v0.3GGUF Q8_0 (bartowski)8.3 GiB–8.9 GiB
Qwen2.5-Coder-7BGGUF Q8_0 (mradermacher)8.1 GiB–8.7 GiB
Qwen2.5-Coder-7B-InstructGGUF Q8_0 (Qwen)8.1 GiB–8.7 GiB
Qwen2.5-7B-InstructGGUF Q8_08.1 GiB–8.7 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q8_0 (Unsloth)8.1 GiB–8.7 GiB
OpenMath-Nemotron-7BGGUF Q8_0 (mradermacher)8.1 GiB–8.7 GiB
Qwen2.5-VL-7B-InstructGGUF Q8_0 (Unsloth)8.1 GiB–8.7 GiB
Qwen2-7B-InstructGGUF Q8_0 (Qwen)8.1 GiB–8.7 GiB
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)6.9 GiB–7.6 GiB
Llama 3.2 3B InstructOfficial BF16 safetensors7.0 GiB–7.5 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5.2 GiB–5.8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5.2 GiB–5.8 GiB
Qwen3-4BGGUF Q8_05.2 GiB–5.8 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4.9 GiB–5.5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3.8 GiB–4.2 GiB
Qwen2.5-3B-InstructGGUF Q8_03.8 GiB–4.2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3.5 GiB–3.9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3.3 GiB–3.8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3.3 GiB–3.8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2.7 GiB–3.2 GiB
Qwen3-1.7BGGUF Q8_02.7 GiB–3.2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2.7 GiB–3.1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2.1 GiB–2.5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2.1 GiB–2.5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1.6 GiB–2.0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1.1 GiB–1.5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0.8 GiB–1.2 GiB

ぎりぎり (2)

モデル量子化合計
gpt-oss-20bMXFP4 safetensors13.1 GiB–13.8 GiB
Qwen3.8-27BGGUF UD-IQ3_XXS (Unsloth)11.0 GiB–13.3 GiB
収まらない（41）

個別の組み合わせ

メモリ

予約量は調整できる前提です。画面を出さないマシンなら計算機で下げられます。

このカード 2 枚は 1 枚の大きなカードにはなりません。エンジンがテンソル並列で分割しない限り、モデル 1 つ分が 1 枚に収まる必要があります。

このグラボで計算機を開く計算機

関連ページ

出典

計算機

公開カタログスナップショットを読み込み中…

コンテキスト長

コンテキストが長いほど、KV キャッシュ（会話を覚えておくためのメモリ）が増えます。

その他のオプション
ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

オフ: GGUF / Q8 などのフィルタは厳格です。オン: 要求・使用・理由付きで代替を示します。

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

GiB（2^30 バイト）

%

GPU か Mac を選ぶと動くモデルが、モデルを選ぶと必要なメモリがわかります。