Ollama Grafikkarte: Welchen VRAM-Bedarf hat welches Modell?
Bei der Ollama-Grafikkarte zählt vor allem der VRAM: Gewichte, KV-Cache und Laufzeitpuffer müssen in den Grafikspeicher passen, sonst läuft das Modell nur teilweise auf der GPU. Ollama baut auf llama.cpp auf, deshalb rechnen wir mit denselben Werten. Die Tabelle zeigt für fünf verbreitete Karten, welche Modelle bei 8.192 Token Kontext sauber passen.
Was passt auf welche Karte?
| Karte | Nettobudget | Größtes Modell, das passt | Weitere Modelle, die passen |
|---|---|---|---|
| GeForce RTX 4060 8GB (desktop) | 7,0 GiB | keines aus der Liste | – |
| GeForce RTX 3060 12GB (desktop) | 11,0 GiB | Qwen3-8B, Q6_K (7,5 GiB bis 8,1 GiB) | – |
| GeForce RTX 4060 Ti 16GB (desktop) | 15,0 GiB | Qwen3-14B, Q6_K (12,7 GiB bis 13,4 GiB) | Qwen3-8B |
| GeForce RTX 3090 24GB (desktop) | 22,0 GiB | Qwen3-30B-A3B, Q4_K_M (18,2 GiB bis 18,9 GiB) | Gemma 3 27B IT, Mistral-Small-24B-Instruct-2501, gpt-oss-20b, Qwen3-14B, Qwen3-8B, Llama 3.1 8B Instruct |
| GeForce RTX 5090 32GB (desktop) | 30,0 GiB | Qwen3-32B, Q5_K_M (23,7 GiB bis 24,7 GiB) | Qwen3-30B-A3B, Gemma 3 27B IT, Mistral-Small-24B-Instruct-2501, gpt-oss-20b, Qwen3-14B, Qwen3-8B, Llama 3.1 8B Instruct |
Nettobudget = Speicher der Karte minus Reserve für System und Anzeige. Gerechnet wird mit der größten Datei, die bei 8.192 Token Kontext passt, einer Anfrage und KV-Cache in FP16. Alle Werte sind Schätzungen, keine Messungen auf diesen Karten; Tempoangaben gibt es hier nicht. Die Liste umfasst zehn ausgewählte Modelle von 8 bis 120 Milliarden Parametern.
So lesen Sie die Tabelle
- Die Spanne „bis“ ist die Schätzung von niedrig bis hoch. Liegt der hohe Wert knapp am Nettobudget, bleibt wenig Spielraum, vor allem bei längerem Kontext.
- Ein längerer Kontext vergrößert den KV-Cache. Wie stark, zeigt der KV-Cache-Rechner.
- Steht Ihr Modell nicht in der Liste, öffnen Sie die Modellseite oder geben Sie es direkt im VRAM-Rechner für lokale LLMs ein.
VRAM-Bedarf, bevor Sie eine Grafikkarte festlegen
Die Tabelle zeigt den VRAM-Bedarf für fünf Karten, keine Kaufberatung und keine Geschwindigkeit. Im VRAM-Rechner stehen Gewichte, KV-Cache und Laufzeit einzeln. Mehr Kontext vergrößert nur den KV-Cache; die Zeilen gelten für 8.192 Token und eine Anfrage. Steht bei einer Karte „keines aus der Liste“, ist schon das kleinste Modell dieser Auswahl zu groß.