Lokale LLMs für RTX 4060 (8 GB GDDR6): Was passt?
Die RTX 4060 hat 8 GB GDDR6. Nach 1 GiB Reserve für Betriebssystem und Anzeige sind etwa 7 GiB für ein Modell nutzbar. Bei 8K Kontext ist das größte Modell aus unserer Liste, das passt, Qwen2-7B-Instruct mit Q5_K_M (etwa 6,1 GiB). GLM-4-9B-0414 mit Q4_K_M wird knapp (etwa 6,2 GiB–6,7 GiB).
Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir
Welche Modelle bei 8K passen
Jedes Modell nutzt die genaueste Datei, die passt, ein Chat gleichzeitig.
Passt (28)
| Modell | Quantisierung | Summe |
|---|---|---|
| DeepSeek-R1-Distill-Llama-8B | GGUF Q4_K_M (Unsloth) | 5,7 GiB–6,2 GiB |
| Qwen2.5-Math-7B-Instruct | GGUF Q4_K_M (bartowski) | 4,9 GiB–6,2 GiB |
| Qwen2.5-Coder-7B | GGUF Q5_K_M (mradermacher) | 5,6 GiB–6,1 GiB |
| Qwen2.5-7B-Instruct | GGUF Q5_K_M | 5,6 GiB–6,1 GiB |
| Qwen2.5-Coder-7B-Instruct | GGUF Q5_K_M (Qwen) | 5,6 GiB–6,1 GiB |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q5_K_M (Unsloth) | 5,6 GiB–6,1 GiB |
| OpenMath-Nemotron-7B | GGUF Q5_K_M (mradermacher) | 5,6 GiB–6,1 GiB |
| Qwen2.5-VL-7B-Instruct | GGUF Q5_K_M (Unsloth) | 5,6 GiB–6,1 GiB |
| Qwen2-7B-Instruct | GGUF Q5_K_M (Qwen) | 5,6 GiB–6,1 GiB |
| Phi-3.5-mini-instruct | GGUF Q4_K_M (bartowski) | 5,4 GiB–6,0 GiB |
| Qwen3-VL-4B-Instruct | GGUF Q8_0 (Qwen) | 5,2 GiB–5,8 GiB |
| Qwen3-4B-Instruct-2507 | GGUF Q8_0 (Unsloth) | 5,2 GiB–5,8 GiB |
| Qwen3-4B | GGUF Q8_0 | 5,2 GiB–5,8 GiB |
| Mistral-7B-Instruct-v0.3 | GGUF Q4_K_M (bartowski) | 5,2 GiB–5,7 GiB |
| Phi-4-mini-instruct | GGUF Q8_0 (Unsloth) | 4,9 GiB–5,5 GiB |
| Qwen2.5-Coder-3B-Instruct | GGUF Q8_0 (Qwen) | 3,8 GiB–4,2 GiB |
| Qwen2.5-3B-Instruct | GGUF Q8_0 | 3,8 GiB–4,2 GiB |
| Qwen2.5-VL-3B-Instruct | GGUF Q8_0 (Unsloth) | 3,5 GiB–3,9 GiB |
| SmolLM2-1.7B-Instruct | GGUF Q8_0 (Unsloth) | 3,3 GiB–3,8 GiB |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT) | 3,3 GiB–3,8 GiB |
| Qwen3-1.7B-Base | GGUF Q8_0 (mradermacher) | 2,7 GiB–3,2 GiB |
| Qwen3-1.7B | GGUF Q8_0 | 2,7 GiB–3,2 GiB |
| Llama 3.2 1B Instruct | Official BF16 safetensors | 2,7 GiB–3,1 GiB |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2,1 GiB–2,5 GiB |
| Qwen2.5-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2,1 GiB–2,5 GiB |
| Qwen3-0.6B | GGUF Q8_0 (Qwen) | 1,6 GiB–2,0 GiB |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT) | 1,1 GiB–1,5 GiB |
| Qwen2.5-0.5B-Instruct | GGUF Q8_0 (Qwen) | 0,8 GiB–1,2 GiB |
Knapp (6)
| Modell | Quantisierung | Summe |
|---|---|---|
| Llama 3.2 3B Instruct | Official BF16 safetensors | 7,0 GiB–7,5 GiB |
| GLM-4-9B-0414 | GGUF Q4_K_M (Unsloth) | 6,2 GiB–6,7 GiB |
| granite-3.3-8b-instruct | GGUF Q4_K_M (IBM) | 6,0 GiB–6,5 GiB |
| Qwen3-VL-8B-Instruct | GGUF Q4_K_M (Qwen) | 5,9 GiB–6,5 GiB |
| Qwen3-8B-Base | GGUF Q4_K_M (mradermacher) | 5,9 GiB–6,5 GiB |
| Qwen3-8B | GGUF Q4_K_M | 5,9 GiB–6,5 GiB |
Passt nicht (52)
- Mistral-Nemo-Instruct-2407 · Q4_K_M · 8,9 GiB
- Gemma 3 12B IT · Q4_0 · 9 GiB
- Qwen3-14B · Q4_K_M · 10,4 GiB
- phi-4 · Q4_K_M · 10,6 GiB
- OpenMath-Nemotron-14B · Q4_K_M · 10,6 GiB
- Qwen2.5-Coder-14B-Instruct · Q4_K_M · 10,6 GiB
- Qwen2.5-14B-Instruct · Q4_K_M · 10,6 GiB
- Phi-4-reasoning · Q4_K_M · 10,8 GiB
- DeepSeek-V2-Lite-Chat · Q4_K_M · 12,2 GiB
- Qwen3.8-27B · UD-IQ3_XXS · 13,3 GiB
- gpt-oss-20b · MXFP4 · 13,8 GiB
- Mistral-Small-24B-Instruct-2501 · Q4_K_M · 15,5 GiB
- Llama 3.1 8B Instruct · BF16 · 16,8 GiB
- Gemma 3 27B IT · Q4_0 · 18 GiB
- Qwen3-30B-A3B · Q4_K_M · 18,9 GiB
- Qwen3-30B-A3B-Instruct-2507 · Q4_K_M · 18,9 GiB
- Qwen3-VL-30B-A3B-Instruct · Q4_K_M · 18,9 GiB
- Qwen3-32B · Q4_K_M · 21,4 GiB
- OpenMath-Nemotron-32B · Q4_K_M · 21,5 GiB
- Qwen2.5-VL-32B-Instruct · Q4_K_M · 21,5 GiB
- DeepSeek-R1-Distill-Qwen-32B · Q4_K_M · 21,5 GiB
- QwQ-32B · Q4_K_M · 21,5 GiB
- Qwen2.5-Coder-32B-Instruct · Q4_K_M · 21,5 GiB
- Qwen2.5-32B-Instruct · Q4_K_M · 21,5 GiB
- Drama 3 · Unofficial int4 W4A16 · 27 GiB
- Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28,6 GiB
- Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43,6 GiB
- Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
- Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47,3 GiB
- gpt-oss-120b · MXFP4 · 62,8 GiB
- GLM-4.5-Air · Q4_K_M · 71,4 GiB
- Qwen3.8-Flash-Next · Q4_K_M · 131,5 GiB
- MiniMax-M2 · Q4_K_M · 134 GiB
- Qwen3-235B-A22B · Q4_K_M · 137,1 GiB
- Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137,1 GiB
- Llama 3.3 70B Instruct · BF16 · 137,2 GiB
- DeepSeek-V4-Flash-0731 · FP8 · 183,7 GiB
- GLM-4.6 · Q4_K_M · 208,4 GiB
- GLM-4.5 · Q4_K_M · 209,2 GiB
- MiniMax-M3 · Q4_K_M · 249,7 GiB
- GLM-5.3-Flash · Q8_0 · 373,6 GiB
- DeepSeek-V3 · Q4_K_M · 443,1 GiB
- DeepSeek-R1 · Q4_K_M · 443,1 GiB
- DeepSeek-V3-0324 · Q4_K_M · 443,1 GiB
- DeepSeek-R1-0528 · Q4_K_M · 443,7 GiB
- DeepSeek-V3.1 · Q4_K_M · 444,2 GiB
- Muse Spark Open · NVFP4 · 508,9 GiB
- DeepSeek-V4.1-Flash · FP8 · 558,8 GiB
- Ling-3.1-flash · FP8 · 628,3 GiB
- Kimi-K2-Instruct · Q4_K_M · 679,5 GiB
- Kimi-K2-Thinking · Q4_K_M · 680 GiB
- GLM-5.3 · Q8_0 · 877 GiB
Einzelne Kombinationen
- Läuft Qwen2.5-7B-Instruct auf RTX 4060?
- Läuft Phi-3.5-mini-instruct auf RTX 4060?
- Läuft Qwen3-8B auf RTX 4060?
- Läuft Qwen3-14B auf RTX 4060?
- Läuft DeepSeek-R1-Distill-Llama-8B auf RTX 4060?
- Läuft Mistral-7B-Instruct-v0.3 auf RTX 4060?
- Läuft Mistral-Nemo-Instruct-2407 auf RTX 4060?
- Läuft GLM-4-9B-0414 auf RTX 4060?
Speicher
- NVIDIAGeForce RTX 4060 8GB desktop
- SpeicherartDiskreter VRAM
- Vermarktet8 GB GDDR6
- Brutto8,00 GiB (8.589.934.592 bytes)
- Standardreserve1,00 GiB (1.073.741.824 bytes)
- Nettobudget7,00 GiB (7.516.192.768 bytes)
Die Reserve ist eine einstellbare Annahme. Auf einem Rechner ohne Bildschirm kannst du sie im Rechner senken.
Zwei dieser Karten ergeben keine größere Karte. Jede Kopie eines Modells muss auf eine Karte passen, außer die Engine teilt es per Tensor-Parallelismus auf.
Verwandte Seiten
Quellen
- NVIDIA GeForce RTX 40 Series specs — Memory Size 8 GB GDDR6
Rechner
Katalog-Snapshot wird geladen…
Wähle eine GPU oder einen Mac, um passende Modelle zu sehen, oder ein Modell, um seinen Speicherbedarf zu sehen.
Wähle eine GPU, um zu sehen, welche Modelle passen.