LM Studio Modelle: Welche Datei passt in Ihren Grafikspeicher?
In LM Studio stehen pro Modell mehrere Dateien zur Wahl. Der VRAM-Bedarf ist größer als die Datei, denn KV-Cache und Laufzeit kommen dazu. Die Tabelle zeigt für zehn Modelle, welche Datei auf welcher Grafikkarte bei 8.192 Token Kontext sauber läuft. LM Studio hat im Rechner keinen eigenen Eintrag; die Werte sind Schätzungen wie für llama.cpp.
Modell für Modell: die kleinste passende Karte
| Modell | Läuft sauber ab (Nettobudget) | Datei | Gesamt bei 8.192 | Größte Datei mit reichlich Platz ab |
|---|---|---|---|---|
| Llama 3.1 8B Instruct | 22,0 GiB: GeForce RTX 3090 24GB (desktop), GeForce RTX 4090 24GB (desktop), Radeon RX 7900 XTX 24GB (desktop) | BF16 | 16,6 GiB bis 18,5 GiB | 30,0 GiB |
| Qwen3-8B | 9,0 GiB: GeForce RTX 3080 10GB (desktop) | Q6_K | 7,5 GiB bis 8,1 GiB | 30,0 GiB |
| Qwen3-14B | 14,0 GiB: GeForce RTX 4080 16GB (desktop), GeForce RTX 4080 SUPER 16GB (desktop), GeForce RTX 5060 Ti 16GB (desktop) u. a. | Q5_K_M | 11,2 GiB bis 11,8 GiB | 46,0 GiB |
| gpt-oss-20b | 18,0 GiB: Radeon RX 7900 XT 20GB (desktop) | MXFP4 | 13,6 GiB bis 15,5 GiB | 30,0 GiB |
| Mistral-Small-24B-Instruct-2501 | 18,0 GiB: Radeon RX 7900 XT 20GB (desktop) | Q4_K_M | 14,7 GiB bis 15,5 GiB | 78,0 GiB |
| Gemma 3 27B IT | 22,0 GiB: GeForce RTX 3090 24GB (desktop), GeForce RTX 4090 24GB (desktop), Radeon RX 7900 XTX 24GB (desktop) | Q4_0 | 17,2 GiB bis 18,0 GiB | 96,0 GiB |
| Qwen3-30B-A3B | 22,0 GiB: GeForce RTX 3090 24GB (desktop), GeForce RTX 4090 24GB (desktop), Radeon RX 7900 XTX 24GB (desktop) | Q4_K_M | 18,2 GiB bis 18,9 GiB | 96,0 GiB |
| Qwen3-32B | 30,0 GiB: GeForce RTX 5090 32GB (desktop) | Q5_K_M | 23,7 GiB bis 24,7 GiB | 96,0 GiB |
| Qwen2.5-72B-Instruct | 54,0 GiB: Apple M2 Max 64GB unified (MacBook Pro / Mac Studio) | Q4_K_M | 43,6 GiB bis 45,0 GiB | keine Karte im Katalog |
| gpt-oss-120b | 78,0 GiB: NVIDIA A100 80GB SXM, NVIDIA H100 80GB SXM | MXFP4 | 61,7 GiB bis 63,6 GiB | 96,0 GiB |
Nettobudget = Speicher minus Reserve für System und Anzeige. Berücksichtigt sind Grafikkarten und Geräte mit gemeinsamem Speicher, bei denen sich System und Modell den Speicher teilen. Eine Anfrage, KV-Cache in FP16. Alle Werte sind Schätzungen ohne Tempoangaben.
Worauf Sie bei der Dateiwahl achten sollten
- Niedrigere Quantisierung spart Speicher, kostet aber Genauigkeit. Wie viel, hängt vom Modell ab. Wir bewerten hier nur den Speicherbedarf, nicht die Qualität.
- Bei längerem Kontext wächst der KV-Cache. Bei knappen Werten ist eine kleinere Datei oder ein kürzerer Kontext die sicherere Wahl.
- Sind Sie unsicher, ob der Grafikspeicher reicht, geben Sie Modell und Grafikkarte im VRAM-Rechner für lokale LLMs ein.