Lokale LLMs für RTX 4090 (24 GB GDDR6X): Was passt?

Die RTX 4090 hat 24 GB GDDR6X. Nach 2 GiB Reserve für Betriebssystem und Anzeige sind etwa 22 GiB für ein Modell nutzbar. Bei 8K Kontext ist das größte Modell aus unserer Liste, das passt, Qwen3-30B-A3B mit Q4_K_M (etwa 18,9 GiB). Qwen2.5-32B-Instruct mit Q4_K_M wird knapp (etwa 20,6 GiB–21,5 GiB).

Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir

Welche Modelle bei 8K passen

Jedes Modell nutzt die genaueste Datei, die passt, ein Chat gleichzeitig.

Passt (51)

Modell	Quantisierung	Summe
Qwen3.8-27B	GGUF Q4_K_M (mradermacher)	16,4 GiB–19,7 GiB
DeepSeek-V2-Lite-Chat	GGUF Q8_0 (mradermacher)	15,9 GiB–19,2 GiB
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen)	18,2 GiB–18,9 GiB
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth)	18,2 GiB–18,9 GiB
Qwen3-30B-A3B	GGUF Q4_K_M	18,2 GiB–18,9 GiB
Gemma 3 27B IT	GGUF Q4_0 (Google QAT)	17,2 GiB–18,0 GiB
Mistral-Small-24B-Instruct-2501	GGUF Q5_K_M (bartowski)	17,0 GiB–17,8 GiB
Qwen2.5-14B-Instruct	GGUF Q8_0	16,2 GiB–17,0 GiB
Qwen2.5-Coder-14B-Instruct	GGUF Q8_0 (Qwen)	16,2 GiB–17,0 GiB
OpenMath-Nemotron-14B	GGUF Q8_0 (mradermacher)	16,2 GiB–17,0 GiB
Phi-4-reasoning	GGUF Q8_0 (Unsloth)	16,2 GiB–17,0 GiB
phi-4	GGUF Q8_0 (Microsoft)	16,2 GiB–17,0 GiB
Llama 3.1 8B Instruct	Official BF16 safetensors	16,1 GiB–16,8 GiB
Qwen3-14B	GGUF Q8_0 (Qwen)	16,0 GiB–16,8 GiB
Mistral-Nemo-Instruct-2407	GGUF Q8_0 (Unsloth)	13,5 GiB–14,2 GiB
gpt-oss-20b	MXFP4 safetensors	13,1 GiB–13,8 GiB
GLM-4-9B-0414	GGUF Q8_0 (Unsloth)	9,8 GiB–10,3 GiB
granite-3.3-8b-instruct	GGUF Q8_0 (IBM)	9,5 GiB–10,1 GiB
Qwen3-VL-8B-Instruct	GGUF Q8_0 (Qwen)	9,4 GiB–10,0 GiB
Qwen3-8B-Base	GGUF Q8_0 (mradermacher)	9,4 GiB–10,0 GiB
Qwen3-8B	GGUF Q8_0	9,4 GiB–10,0 GiB
Qwen2.5-Math-7B-Instruct	GGUF Q8_0 (bartowski)	8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8B	GGUF Q8_0 (Unsloth)	9,1 GiB–9,7 GiB
Gemma 3 12B IT	GGUF Q4_0 (Google QAT)	8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3	GGUF Q8_0 (bartowski)	8,3 GiB–8,9 GiB
Qwen2.5-Coder-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Qwen2.5-7B-Instruct	GGUF Q8_0	8,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7B	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
OpenMath-Nemotron-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-Instruct	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
Qwen2-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Phi-3.5-mini-instruct	GGUF Q8_0 (bartowski)	6,9 GiB–7,6 GiB
Llama 3.2 3B Instruct	Official BF16 safetensors	7,0 GiB–7,5 GiB
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen)	5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth)	5,2 GiB–5,8 GiB
Qwen3-4B	GGUF Q8_0	5,2 GiB–5,8 GiB
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth)	4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen)	3,8 GiB–4,2 GiB
Qwen2.5-3B-Instruct	GGUF Q8_0	3,8 GiB–4,2 GiB
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth)	3,5 GiB–3,9 GiB
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth)	3,3 GiB–3,8 GiB
Gemma 3 4B IT	GGUF Q4_0 (Google QAT)	3,3 GiB–3,8 GiB
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher)	2,7 GiB–3,2 GiB
Qwen3-1.7B	GGUF Q8_0	2,7 GiB–3,2 GiB
Llama 3.2 1B Instruct	Official BF16 safetensors	2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen3-0.6B	GGUF Q8_0 (Qwen)	1,6 GiB–2,0 GiB
Gemma 3 1B IT	GGUF Q4_0 (Google QAT)	1,1 GiB–1,5 GiB
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen)	0,8 GiB–1,2 GiB

Knapp (7)

Modell	Quantisierung	Summe
Qwen2.5-32B-Instruct	GGUF Q4_K_M	20,6 GiB–21,5 GiB
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen)	20,6 GiB–21,5 GiB
QwQ-32B	GGUF Q4_K_M (Qwen)	20,6 GiB–21,5 GiB
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth)	20,6 GiB–21,5 GiB
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth)	20,6 GiB–21,5 GiB
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher)	20,6 GiB–21,5 GiB
Qwen3-32B	GGUF Q4_K_M	20,5 GiB–21,4 GiB

Passt nicht (28)

Drama 3 · Unofficial int4 W4A16 · 27 GiB
Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28,6 GiB
Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43,6 GiB
Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47,3 GiB
gpt-oss-120b · MXFP4 · 62,8 GiB
GLM-4.5-Air · Q4_K_M · 71,4 GiB
Qwen3.8-Flash-Next · Q4_K_M · 131,5 GiB
MiniMax-M2 · Q4_K_M · 134 GiB
Qwen3-235B-A22B · Q4_K_M · 137,1 GiB
Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137,1 GiB
Llama 3.3 70B Instruct · BF16 · 137,2 GiB
DeepSeek-V4-Flash-0731 · FP8 · 183,7 GiB
GLM-4.6 · Q4_K_M · 208,4 GiB
GLM-4.5 · Q4_K_M · 209,2 GiB
MiniMax-M3 · Q4_K_M · 249,7 GiB
GLM-5.3-Flash · Q8_0 · 373,6 GiB
DeepSeek-V3 · Q4_K_M · 443,1 GiB
DeepSeek-R1 · Q4_K_M · 443,1 GiB
DeepSeek-V3-0324 · Q4_K_M · 443,1 GiB
DeepSeek-R1-0528 · Q4_K_M · 443,7 GiB
DeepSeek-V3.1 · Q4_K_M · 444,2 GiB
Muse Spark Open · NVFP4 · 508,9 GiB
DeepSeek-V4.1-Flash · FP8 · 558,8 GiB
Ling-3.1-flash · FP8 · 628,3 GiB
Kimi-K2-Instruct · Q4_K_M · 679,5 GiB
Kimi-K2-Thinking · Q4_K_M · 680 GiB
GLM-5.3 · Q8_0 · 877 GiB

Einzelne Kombinationen

Speicher

NVIDIAGeForce RTX 4090 Founders Edition / 24GB desktop
SpeicherartDiskreter VRAM
Vermarktet24 GB GDDR6X
Brutto24,00 GiB (25.769.803.776 bytes)
Standardreserve2,00 GiB (2.147.483.648 bytes)
Nettobudget22,00 GiB (23.622.320.128 bytes)

Die Reserve ist eine einstellbare Annahme. Auf einem Rechner ohne Bildschirm kannst du sie im Rechner senken.

Zwei dieser Karten ergeben keine größere Karte. Jede Kopie eines Modells muss auf eine Karte passen, außer die Engine teilt es per Tensor-Parallelismus auf.

Auf dieser Karte gemessen

Qwen2.5-3B-Instruct Q4_K_M, 512 Tokens, llama.cpp: 2,31 GiB Grafikspeicher belegt (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx512)
Qwen2.5-3B-Instruct Q4_K_M, 2.048 Tokens, llama.cpp: 2,37 GiB Grafikspeicher belegt (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx2048)
Qwen2.5-3B-Instruct Q4_K_M, 8.192 Tokens, llama.cpp: 2,59 GiB Grafikspeicher belegt (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx8192)

Rechner mit dieser Grafikkarte öffnen Kombinationsseite Qwen2.5-7B

Quellen

NVIDIA GeForce RTX 4090 product page — Standard Memory Config 24 GB GDDR6X

Rechner

Katalog-Snapshot wird geladen…

Deine GPU oder dein Mac

Modell

Kontextlänge

Mehr Kontext braucht mehr Speicher für den KV-Cache, das Arbeitsgedächtnis des Modells für die Unterhaltung.

Weitere Optionen

Historische Modelle anzeigen

Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Quantisierungsfilter Ersatz erlauben, wenn der Filter nichts trifft

Aus: GGUF-, Q8- und andere Filter bleiben strikt. Ein: Ersatz mit angefordert, verwendet und Grund.

LaufzeitKV-Cache-TypRecurrent-/Conv-State-Datentyp Theoretische Schätzungen einbeziehen (Experte)

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Szenario für Laufzeitoverhead Größeren Prefill-Arbeitsspeicher einbeziehen

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

VerteilungSplit in der ReplikaAnzahl Geräte

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

ReplikagruppenGeräte je Replika

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

Reserve für System / Anzeige

GiB (2^30 Byte)

Budget enthält die Systemreserve bereits nicht mehrZusätzliche Sicherheitsmarge

Effektive Bits je Parameter (eigene Angabe)Anzeigeeinheit

Wähle eine GPU oder einen Mac, um passende Modelle zu sehen, oder ein Modell, um seinen Speicherbedarf zu sehen.