Lokale LLMs für RTX 3080 (10 GB GDDR6X): Was passt?
Die RTX 3080 hat 10 GB GDDR6X. Nach 1 GiB Reserve für Betriebssystem und Anzeige sind etwa 9 GiB für ein Modell nutzbar. Bei 8K Kontext ist das größte Modell aus unserer Liste, das passt, GLM-4-9B-0414 mit Q5_K_M (etwa 7,5 GiB). Mistral-Nemo-Instruct-2407 mit Q4_K_M wird knapp (etwa 8,3 GiB–8,9 GiB).
Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir
Welche Modelle bei 8K passen
Jedes Modell nutzt die genaueste Datei, die passt, ein Chat gleichzeitig.
Passt (34)
| Modell | Quantisierung | Summe |
|---|---|---|
| Qwen3-VL-8B-Instruct | GGUF Q6_K (Unsloth) | 7,5 GiB–8,1 GiB |
| Qwen3-8B-Base | GGUF Q6_K (mradermacher) | 7,5 GiB–8,1 GiB |
| Qwen3-8B | GGUF Q6_K (Qwen) | 7,5 GiB–8,1 GiB |
| Qwen2.5-Math-7B-Instruct | GGUF Q6_K (bartowski) | 6,4 GiB–7,9 GiB |
| DeepSeek-R1-Distill-Llama-8B | GGUF Q6_K (Unsloth) | 7,3 GiB–7,8 GiB |
| Phi-3.5-mini-instruct | GGUF Q8_0 (bartowski) | 6,9 GiB–7,6 GiB |
| Llama 3.2 3B Instruct | Official BF16 safetensors | 7,0 GiB–7,5 GiB |
| GLM-4-9B-0414 | GGUF Q5_K_M (Unsloth) | 7,0 GiB–7,5 GiB |
| granite-3.3-8b-instruct | GGUF Q5_K_M (IBM) | 6,8 GiB–7,3 GiB |
| Mistral-7B-Instruct-v0.3 | GGUF Q6_K (bartowski) | 6,7 GiB–7,2 GiB |
| Qwen2.5-Coder-7B | GGUF Q6_K (mradermacher) | 6,4 GiB–6,9 GiB |
| Qwen2.5-Coder-7B-Instruct | GGUF Q6_K (Qwen) | 6,4 GiB–6,9 GiB |
| Qwen2.5-7B-Instruct | GGUF Q6_K (Qwen) | 6,4 GiB–6,9 GiB |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q6_K (Unsloth) | 6,4 GiB–6,9 GiB |
| OpenMath-Nemotron-7B | GGUF Q6_K (mradermacher) | 6,4 GiB–6,9 GiB |
| Qwen2.5-VL-7B-Instruct | GGUF Q6_K (Unsloth) | 6,4 GiB–6,9 GiB |
| Qwen2-7B-Instruct | GGUF Q6_K (Qwen) | 6,4 GiB–6,9 GiB |
| Qwen3-VL-4B-Instruct | GGUF Q8_0 (Qwen) | 5,2 GiB–5,8 GiB |
| Qwen3-4B-Instruct-2507 | GGUF Q8_0 (Unsloth) | 5,2 GiB–5,8 GiB |
| Qwen3-4B | GGUF Q8_0 | 5,2 GiB–5,8 GiB |
| Phi-4-mini-instruct | GGUF Q8_0 (Unsloth) | 4,9 GiB–5,5 GiB |
| Qwen2.5-Coder-3B-Instruct | GGUF Q8_0 (Qwen) | 3,8 GiB–4,2 GiB |
| Qwen2.5-3B-Instruct | GGUF Q8_0 | 3,8 GiB–4,2 GiB |
| Qwen2.5-VL-3B-Instruct | GGUF Q8_0 (Unsloth) | 3,5 GiB–3,9 GiB |
| SmolLM2-1.7B-Instruct | GGUF Q8_0 (Unsloth) | 3,3 GiB–3,8 GiB |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT) | 3,3 GiB–3,8 GiB |
| Qwen3-1.7B-Base | GGUF Q8_0 (mradermacher) | 2,7 GiB–3,2 GiB |
| Qwen3-1.7B | GGUF Q8_0 | 2,7 GiB–3,2 GiB |
| Llama 3.2 1B Instruct | Official BF16 safetensors | 2,7 GiB–3,1 GiB |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2,1 GiB–2,5 GiB |
| Qwen2.5-1.5B-Instruct | GGUF Q8_0 (Qwen) | 2,1 GiB–2,5 GiB |
| Qwen3-0.6B | GGUF Q8_0 (Qwen) | 1,6 GiB–2,0 GiB |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT) | 1,1 GiB–1,5 GiB |
| Qwen2.5-0.5B-Instruct | GGUF Q8_0 (Qwen) | 0,8 GiB–1,2 GiB |
Knapp (2)
| Modell | Quantisierung | Summe |
|---|---|---|
| Gemma 3 12B IT | GGUF Q4_0 (Google QAT) | 8,5 GiB–9,0 GiB |
| Mistral-Nemo-Instruct-2407 | GGUF Q4_K_M (Unsloth) | 8,3 GiB–8,9 GiB |
Passt nicht (50)
- Qwen3-14B · Q4_K_M · 10,4 GiB
- phi-4 · Q4_K_M · 10,6 GiB
- OpenMath-Nemotron-14B · Q4_K_M · 10,6 GiB
- Qwen2.5-Coder-14B-Instruct · Q4_K_M · 10,6 GiB
- Qwen2.5-14B-Instruct · Q4_K_M · 10,6 GiB
- Phi-4-reasoning · Q4_K_M · 10,8 GiB
- DeepSeek-V2-Lite-Chat · Q4_K_M · 12,2 GiB
- Qwen3.8-27B · UD-IQ3_XXS · 13,3 GiB
- gpt-oss-20b · MXFP4 · 13,8 GiB
- Mistral-Small-24B-Instruct-2501 · Q4_K_M · 15,5 GiB
- Llama 3.1 8B Instruct · BF16 · 16,8 GiB
- Gemma 3 27B IT · Q4_0 · 18 GiB
- Qwen3-30B-A3B · Q4_K_M · 18,9 GiB
- Qwen3-30B-A3B-Instruct-2507 · Q4_K_M · 18,9 GiB
- Qwen3-VL-30B-A3B-Instruct · Q4_K_M · 18,9 GiB
- Qwen3-32B · Q4_K_M · 21,4 GiB
- OpenMath-Nemotron-32B · Q4_K_M · 21,5 GiB
- Qwen2.5-VL-32B-Instruct · Q4_K_M · 21,5 GiB
- DeepSeek-R1-Distill-Qwen-32B · Q4_K_M · 21,5 GiB
- QwQ-32B · Q4_K_M · 21,5 GiB
- Qwen2.5-Coder-32B-Instruct · Q4_K_M · 21,5 GiB
- Qwen2.5-32B-Instruct · Q4_K_M · 21,5 GiB
- Drama 3 · Unofficial int4 W4A16 · 27 GiB
- Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28,6 GiB
- Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43,6 GiB
- Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
- Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47,3 GiB
- gpt-oss-120b · MXFP4 · 62,8 GiB
- GLM-4.5-Air · Q4_K_M · 71,4 GiB
- Qwen3.8-Flash-Next · Q4_K_M · 131,5 GiB
- MiniMax-M2 · Q4_K_M · 134 GiB
- Qwen3-235B-A22B · Q4_K_M · 137,1 GiB
- Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137,1 GiB
- Llama 3.3 70B Instruct · BF16 · 137,2 GiB
- DeepSeek-V4-Flash-0731 · FP8 · 183,7 GiB
- GLM-4.6 · Q4_K_M · 208,4 GiB
- GLM-4.5 · Q4_K_M · 209,2 GiB
- MiniMax-M3 · Q4_K_M · 249,7 GiB
- GLM-5.3-Flash · Q8_0 · 373,6 GiB
- DeepSeek-V3 · Q4_K_M · 443,1 GiB
- DeepSeek-R1 · Q4_K_M · 443,1 GiB
- DeepSeek-V3-0324 · Q4_K_M · 443,1 GiB
- DeepSeek-R1-0528 · Q4_K_M · 443,7 GiB
- DeepSeek-V3.1 · Q4_K_M · 444,2 GiB
- Muse Spark Open · NVFP4 · 508,9 GiB
- DeepSeek-V4.1-Flash · FP8 · 558,8 GiB
- Ling-3.1-flash · FP8 · 628,3 GiB
- Kimi-K2-Instruct · Q4_K_M · 679,5 GiB
- Kimi-K2-Thinking · Q4_K_M · 680 GiB
- GLM-5.3 · Q8_0 · 877 GiB
Speicher
- NVIDIAGeForce RTX 3080 10GB desktop
- SpeicherartDiskreter VRAM
- Vermarktet10 GB GDDR6X
- Brutto10,00 GiB (10.737.418.240 bytes)
- Standardreserve1,00 GiB (1.073.741.824 bytes)
- Nettobudget9,00 GiB (9.663.676.416 bytes)
Die Reserve ist eine einstellbare Annahme. Auf einem Rechner ohne Bildschirm kannst du sie im Rechner senken.
Zwei dieser Karten ergeben keine größere Karte. Jede Kopie eines Modells muss auf eine Karte passen, außer die Engine teilt es per Tensor-Parallelismus auf.
Verwandte Seiten
Quellen
- NVIDIA GeForce RTX 3080 Family specs — RTX 3080 Standard Memory Config 12 GB GDDR6X / 10 GB GDDR6X; Memory Interface Width 384-bit / 320-bit (the 10 GB card is the 320-bit one)
Rechner
Katalog-Snapshot wird geladen…
Wähle eine GPU oder einen Mac, um passende Modelle zu sehen, oder ein Modell, um seinen Speicherbedarf zu sehen.
Wähle eine GPU, um zu sehen, welche Modelle passen.