RTX 4060（8 GB GDDR6）で動くローカルLLM
RTX 4060 のメモリは 8 GB GDDR6 です。OS と画面表示用に 1 GiB を予約すると、モデルに使えるのは約 7 GiB です。 8K コンテキストで収まる一覧中最大のモデルは Qwen2-7B-Instruct（Q5_K_M、約 6.1 GiB）です。 GLM-4-9B-0414（Q4_K_M）はぎりぎりです（約 6.2 GiB–6.7 GiB）。
これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法
8K で収まるモデル
各モデルは収まる中で最も精度の高いファイルを使い、同時に 1 会話です。
収まる (28)
| モデル | 量子化 | 合計 |
|---|---|---|
| DeepSeek-R1-Distill-Llama-8B | GGUF Q4_K_M (Unsloth) | 5.7 GiB–6.2 GiB |
| Qwen2.5-Math-7B-Instruct | GGUF Q4_K_M (bartowski) | 4.9 GiB–6.2 GiB |
| Qwen2.5-Coder-7B | GGUF Q5_K_M (mradermacher) | 5.6 GiB–6.1 GiB |
| Qwen2.5-7B-Instruct | GGUF Q5_K_M | 5.6 GiB–6.1 GiB |
| Qwen2.5-Coder-7B-Instruct | GGUF Q5_K_M (Qwen) | 5.6 GiB–6.1 GiB |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q5_K_M (Unsloth) | 5.6 GiB–6.1 GiB |
| OpenMath-Nemotron-7B | GGUF Q5_K_M (mradermacher) | 5.6 GiB–6.1 GiB |
| Qwen2.5-VL-7B-Instruct | GGUF Q5_K_M (Unsloth) | 5.6 GiB–6.1 GiB |
| Qwen2-7B-Instruct | GGUF Q5_K_M (Qwen) | 5.6 GiB–6.1 GiB |
| Phi-3.5-mini-instruct | GGUF Q4_K_M (bartowski) | 5.4 GiB–6.0 GiB |
| Qwen3-VL-4B-Instruct | GGUF Q8_0 (Qwen) | 5.2 GiB–5.8 GiB |
| Qwen3-4B-Instruct-2507 | GGUF Q8_0 (Unsloth) | 5.2 GiB–5.8 GiB |
| Qwen3-4B | GGUF Q8_0 | 5.2 GiB–5.8 GiB |
| Mistral-7B-Instruct-v0.3 | GGUF Q4_K_M (bartowski) | 5.2 GiB–5.7 GiB |
| Phi-4-mini-instruct | GGUF Q8_0 (Unsloth) | 4.9 GiB–5.5 GiB |
| Qwen2.5-Coder-3B-Instruct | GGUF Q8_0 (Qwen) | 3.8 GiB–4.2 GiB |
| Qwen2.5-3B-Instruct | GGUF Q8_0 | 3.8 GiB–4.2 GiB |
| Qwen2.5-VL-3B-Instruct | GGUF Q8_0 (Unsloth) | 3.5 GiB–3.9 GiB |
| SmolLM2-1.7B-Instruct | GGUF Q8_0 (Unsloth) | 3.3 GiB–3.8 GiB |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT) | 3.3 GiB–3.8 GiB |
| Qwen3-1.7B-Base | GGUF Q8_0 (mradermacher) | 2.7 GiB–3.2 GiB |
| Qwen3-1.7B | GGUF Q8_0 | 2.7 GiB–3.2 GiB |
| Llama 3.2 1B Instruct | Official BF16 safetensors | 2.7 GiB–3.1 GiB |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2.1 GiB–2.5 GiB |
| Qwen2.5-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2.1 GiB–2.5 GiB |
| Qwen3-0.6B | GGUF Q8_0 (Qwen) | 1.6 GiB–2.0 GiB |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT) | 1.1 GiB–1.5 GiB |
| Qwen2.5-0.5B-Instruct | GGUF Q8_0 (Qwen) | 0.8 GiB–1.2 GiB |
ぎりぎり (6)
| モデル | 量子化 | 合計 |
|---|---|---|
| Llama 3.2 3B Instruct | Official BF16 safetensors | 7.0 GiB–7.5 GiB |
| GLM-4-9B-0414 | GGUF Q4_K_M (Unsloth) | 6.2 GiB–6.7 GiB |
| granite-3.3-8b-instruct | GGUF Q4_K_M (IBM) | 6.0 GiB–6.5 GiB |
| Qwen3-VL-8B-Instruct | GGUF Q4_K_M (Qwen) | 5.9 GiB–6.5 GiB |
| Qwen3-8B-Base | GGUF Q4_K_M (mradermacher) | 5.9 GiB–6.5 GiB |
| Qwen3-8B | GGUF Q4_K_M | 5.9 GiB–6.5 GiB |
収まらない（52）
- Mistral-Nemo-Instruct-2407 · Q4_K_M · 8.9 GiB
- Gemma 3 12B IT · Q4_0 · 9 GiB
- Qwen3-14B · Q4_K_M · 10.4 GiB
- phi-4 · Q4_K_M · 10.6 GiB
- OpenMath-Nemotron-14B · Q4_K_M · 10.6 GiB
- Qwen2.5-Coder-14B-Instruct · Q4_K_M · 10.6 GiB
- Qwen2.5-14B-Instruct · Q4_K_M · 10.6 GiB
- Phi-4-reasoning · Q4_K_M · 10.8 GiB
- DeepSeek-V2-Lite-Chat · Q4_K_M · 12.2 GiB
- Qwen3.8-27B · UD-IQ3_XXS · 13.3 GiB
- gpt-oss-20b · MXFP4 · 13.8 GiB
- Mistral-Small-24B-Instruct-2501 · Q4_K_M · 15.5 GiB
- Llama 3.1 8B Instruct · BF16 · 16.8 GiB
- Gemma 3 27B IT · Q4_0 · 18 GiB
- Qwen3-30B-A3B · Q4_K_M · 18.9 GiB
- Qwen3-30B-A3B-Instruct-2507 · Q4_K_M · 18.9 GiB
- Qwen3-VL-30B-A3B-Instruct · Q4_K_M · 18.9 GiB
- Qwen3-32B · Q4_K_M · 21.4 GiB
- OpenMath-Nemotron-32B · Q4_K_M · 21.5 GiB
- Qwen2.5-VL-32B-Instruct · Q4_K_M · 21.5 GiB
- DeepSeek-R1-Distill-Qwen-32B · Q4_K_M · 21.5 GiB
- QwQ-32B · Q4_K_M · 21.5 GiB
- Qwen2.5-Coder-32B-Instruct · Q4_K_M · 21.5 GiB
- Qwen2.5-32B-Instruct · Q4_K_M · 21.5 GiB
- Drama 3 · Unofficial int4 W4A16 · 27 GiB
- Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28.6 GiB
- Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43.6 GiB
- Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
- Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47.3 GiB
- gpt-oss-120b · MXFP4 · 62.8 GiB
- GLM-4.5-Air · Q4_K_M · 71.4 GiB
- Qwen3.8-Flash-Next · Q4_K_M · 131.5 GiB
- MiniMax-M2 · Q4_K_M · 134 GiB
- Qwen3-235B-A22B · Q4_K_M · 137.1 GiB
- Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137.1 GiB
- Llama 3.3 70B Instruct · BF16 · 137.2 GiB
- DeepSeek-V4-Flash-0731 · FP8 · 183.7 GiB
- GLM-4.6 · Q4_K_M · 208.4 GiB
- GLM-4.5 · Q4_K_M · 209.2 GiB
- MiniMax-M3 · Q4_K_M · 249.7 GiB
- GLM-5.3-Flash · Q8_0 · 373.6 GiB
- DeepSeek-V3 · Q4_K_M · 443.1 GiB
- DeepSeek-R1 · Q4_K_M · 443.1 GiB
- DeepSeek-V3-0324 · Q4_K_M · 443.1 GiB
- DeepSeek-R1-0528 · Q4_K_M · 443.7 GiB
- DeepSeek-V3.1 · Q4_K_M · 444.2 GiB
- Muse Spark Open · NVFP4 · 508.9 GiB
- DeepSeek-V4.1-Flash · FP8 · 558.8 GiB
- Ling-3.1-flash · FP8 · 628.3 GiB
- Kimi-K2-Instruct · Q4_K_M · 679.5 GiB
- Kimi-K2-Thinking · Q4_K_M · 680 GiB
- GLM-5.3 · Q8_0 · 877 GiB
個別の組み合わせ
- Qwen2.5-7B-Instruct は RTX 4060 で動きますか？
- Phi-3.5-mini-instruct は RTX 4060 で動きますか？
- Qwen3-8B は RTX 4060 で動きますか？
- Qwen3-14B は RTX 4060 で動きますか？
- DeepSeek-R1-Distill-Llama-8B は RTX 4060 で動きますか？
- Mistral-7B-Instruct-v0.3 は RTX 4060 で動きますか？
- Mistral-Nemo-Instruct-2407 は RTX 4060 で動きますか？
- GLM-4-9B-0414 は RTX 4060 で動きますか？
メモリ
- NVIDIAGeForce RTX 4060 8GB desktop
- メモリ種別専用 VRAM
- 公称8 GB GDDR6
- 総容量8.00 GiB (8,589,934,592 bytes)
- 既定予約1.00 GiB (1,073,741,824 bytes)
- 正味予算7.00 GiB (7,516,192,768 bytes)
予約量は調整できる前提です。画面を出さないマシンなら計算機で下げられます。
このカード 2 枚は 1 枚の大きなカードにはなりません。エンジンがテンソル並列で分割しない限り、モデル 1 つ分が 1 枚に収まる必要があります。
関連ページ
出典
- 出典 — Memory Size 8 GB GDDR6
計算機
公開カタログスナップショットを読み込み中…
GPU か Mac を選ぶと動くモデルが、モデルを選ぶと必要なメモリがわかります。
GPU を選ぶと動くモデルがわかります。