Grafikkarte für lokale KI: Wie viel VRAM brauchen Sie?
Bei lokaler KI entscheidet zuerst der Grafikspeicher, nicht die Rechenleistung. Die Tabelle zeigt für jede Speicherstufe von 8 bis 48 GB, wie viele Modelle passen und welches das größte ist. Legen Sie zuerst das Modell fest, dann die Grafikkarte.
Speicherstufen im Überblick
| Stufe | Karte mit dem kleinsten Nettobudget | Nettobudget | Passende Katalogmodelle | Größtes davon |
|---|---|---|---|---|
| 8 GB VRAM | GeForce RTX 3060 8GB (desktop) | 7,0 GiB | 32 | Qwen3-VL-8B-Instruct, GGUF Q4_K_M (Qwen) |
| 12 GB VRAM | GeForce RTX 3060 12GB (desktop) | 11,0 GiB | 43 | Qwen3.8-27B, GGUF UD-IQ1_S (Unsloth) |
| 16 GB VRAM | Radeon RX 7800 XT 16GB (desktop) | 14,0 GiB | 44 | Qwen3.8-27B, GGUF UD-IQ1_S (Unsloth) |
| 24 GB VRAM | Radeon RX 7900 XTX 24GB (desktop) | 22,0 GiB | 58 | Qwen2.5-VL-32B-Instruct, GGUF Q4_K_M (Unsloth) |
| 32 GB VRAM | GeForce RTX 5090 32GB (desktop) | 30,0 GiB | 59 | Drama 3, Unofficial int4 W4A16 (GPTQ-Marlin, with codec) |
| 48 GB VRAM | NVIDIA L40S 48GB | 46,0 GiB | 61 | Llama-3.1-Nemotron-70B-Instruct-HF, GGUF Q4_K_M (bartowski) |
Nettobudget = Speicher der Karte minus Reserve für System und Anzeige. „Passend“ heißt: Mindestens eine veröffentlichte Datei läuft bei 8.192 Token Kontext. Alle Werte sind Schätzungen ohne Tempoangaben. Geräte mit gemeinsamem Speicher wie die DGX Spark stehen auf der DGX-Spark-Seite.
Weitere Karten je Stufe
- 8 GB: GeForce RTX 3060 8GB (desktop), GeForce RTX 3070 8GB (desktop), GeForce RTX 4060 8GB (desktop), GeForce RTX 5060 Ti 8GB (desktop)
- 12 GB: GeForce RTX 3060 12GB (desktop), GeForce RTX 3080 12GB (desktop), GeForce RTX 4070 12GB (desktop, GDDR6X), GeForce RTX 4070 SUPER 12GB (desktop), GeForce RTX 5070 12GB (desktop)
- 16 GB: Radeon RX 7800 XT 16GB (desktop), Radeon RX 9070 16GB (desktop), Radeon RX 9070 XT 16GB (desktop), GeForce RTX 4080 16GB (desktop), GeForce RTX 4080 SUPER 16GB (desktop), GeForce RTX 5060 Ti 16GB (desktop), GeForce RTX 5070 Ti 16GB (desktop), GeForce RTX 5080 16GB (desktop), GeForce RTX 4060 Ti 16GB (desktop), GeForce RTX 4070 Ti SUPER 16GB (desktop)
- 24 GB: Radeon RX 7900 XTX 24GB (desktop), GeForce RTX 3090 24GB (desktop), GeForce RTX 4090 24GB (desktop)
- 32 GB: GeForce RTX 5090 32GB (desktop)
- 48 GB: NVIDIA L40S 48GB
Erst das Modell, dann die Grafikkarte
Der VRAM-Bedarf setzt sich aus Gewichten, KV-Cache und Laufzeit zusammen. Maßgeblich ist das Nettobudget nach der Reserve, nicht die Zahl auf der Verpackung. Fehlt Ihr Modell, wählen Sie Modell und Grafikkarte im VRAM-Rechner für lokale LLMs. Geräte mit gemeinsamem Speicher stehen auf der DGX-Spark-Seite.