32 GB VRAM LLM: Welche Modelle laufen? (Okt. 2026)

GeForce RTX 5090 32GB (desktop) ist die Katalog-SKU dieser diskreten 32-GB-Stufe mit dem kleinsten Nettobudget: 30,00 GiB nach der belegten Reserve. 59 Katalogmodelle passen mit einem dateigestützten Artefakt. Der Monat folgt Datensatz 2026-10-02.1 (Okt. 2026), nicht der Uhrzeit beim Bauen.

Katalogdatensatz 2026-10-02.1 (Okt. 2026).

Katalog-SKUs in dieser Stufe

Karte	Beworbene Kapazität	Nettobudget
GeForce RTX 5090 32GB (desktop) Kleinstes Nettobudget	32 GB GDDR7	30,00 GiB

Katalogmodelle, die passen

Jede Zeile ist ein dateigestütztes Artefakt auf der Referenzkarte. Ein fehlendes Quantisierungsformat wird nicht ersetzt. Die Kontextsuche endet an der belegten Obergrenze. Fehlt diese Obergrenze, steht nur das Urteil bei 8192 Token.

Fehlt die Bandbreite im Katalog, heißt die Dekodiergrenze nicht verfügbar. Das ist kein Speichervurteil.

Modell	Artefakt	Längster passender Kontext	Längster Kontext inklusive knapp	Urteil bei 8192 Token	Dekodiergrenze	Verweise
Qwen2.5-0.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 0,68 GiB–1,07 GiB	Nicht verfügbar
Qwen3-0.6B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Läuft mit Luft 1,37 GiB–1,81 GiB	Nicht verfügbar
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 1,10 GiB–1,50 GiB	Nicht verfügbar
Llama 3.2 1B Instruct	Official BF16 safetensors `bf16` · `vllm`	131.072	131.072	8192 Läuft mit Luft 3,18 GiB–5,06 GiB	Nicht verfügbar
Qwen2.5-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 1,38 GiB–1,80 GiB	Nicht verfügbar
Qwen2.5-Coder-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 1,38 GiB–1,80 GiB	Nicht verfügbar
SmolLM2-1.7B-Instruct	GGUF Q4_K_M (Hugging Face) `gguf-q4_k_m` · `llama.cpp`	8.192	8.192	8192 Läuft mit Luft 2,61 GiB–3,11 GiB	Nicht verfügbar
Qwen3-1.7B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 2,03 GiB–2,49 GiB	Nicht verfügbar
Qwen3-1.7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Läuft mit Luft 2,03 GiB–2,49 GiB	Nicht verfügbar
Qwen2.5-3B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 2,37 GiB–2,80 GiB	Nicht verfügbar
Qwen2.5-Coder-3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 2,37 GiB–2,80 GiB	Nicht verfügbar
Llama 3.2 3B Instruct	Official BF16 safetensors `bf16` · `vllm`	131.072	131.072	8192 Läuft mit Luft 7,48 GiB–9,39 GiB	Nicht verfügbar
Qwen2.5-VL-3B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128.000	128.000	8192 Läuft mit Luft 2,20 GiB–2,63 GiB	Nicht verfügbar
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	62.180	75.492	8192 Läuft mit Luft 5,35 GiB–5,98 GiB	Nicht verfügbar
Phi-4-mini-instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Läuft mit Luft 3,45 GiB–3,94 GiB	Nicht verfügbar
Qwen3-4B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Läuft mit Luft 3,58 GiB–4,08 GiB	Nicht verfügbar
Qwen3-4B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	165.108	200.607	8192 Läuft mit Luft 3,58 GiB–4,08 GiB	Nicht verfügbar
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131.072	131.072	8192 Läuft mit Luft 3,33 GiB–3,79 GiB	Nicht verfügbar
Qwen3-VL-4B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	165.108	200.607	8192 Läuft mit Luft 3,58 GiB–4,08 GiB	Nicht verfügbar
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 5,20 GiB–5,72 GiB	Nicht verfügbar
DeepSeek-R1-Distill-Qwen-7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Läuft mit Luft 4,92 GiB–5,42 GiB	Nicht verfügbar
OpenMath-Nemotron-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Läuft mit Luft 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2.5-7B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2.5-Coder-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2.5-Coder-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	4.096	4.096	8192 Läuft mit Luft · Grobe Schätzung 4,92 GiB–6,23 GiB	Nicht verfügbar
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Läuft mit Luft 5,71 GiB–6,24 GiB	Nicht verfügbar
Llama 3.1 8B Instruct	Official BF16 safetensors `bf16` · `vllm`	75.894	118.107	8192 Läuft mit Luft 16,58 GiB–18,49 GiB	Nicht verfügbar
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Läuft mit Luft 5,98 GiB–6,53 GiB	Nicht verfügbar
Qwen3-8B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Läuft mit Luft 5,93 GiB–6,48 GiB	Nicht verfügbar
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 5,93 GiB–6,48 GiB	Nicht verfügbar
Qwen2.5-VL-7B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128.000	128.000	8192 Läuft mit Luft 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	147.947	183.446	8192 Läuft mit Luft 5,93 GiB–6,48 GiB	Nicht verfügbar	Qwen3-VL-8B-Instruct · GeForce RTX 5090 32GB (desktop)
GLM-4-9B-0414	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 6,18 GiB–6,69 GiB	Nicht verfügbar
Gemma 3 12B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131.072	131.072	8192 Läuft mit Luft 8,46 GiB–9,04 GiB	Nicht verfügbar
Mistral-Nemo-Instruct-2407	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	118.804	131.072	8192 Läuft mit Luft 8,34 GiB–8,94 GiB	Nicht verfügbar
phi-4	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	16.384	16.384	8192 Läuft mit Luft 9,97 GiB–10,62 GiB	Nicht verfügbar
Phi-4-reasoning	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 10,12 GiB–10,77 GiB	Nicht verfügbar
Qwen3-14B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Läuft mit Luft 9,76 GiB–10,39 GiB	Nicht verfügbar
OpenMath-Nemotron-14B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	91.677	117.441	8192 Läuft mit Luft 10,00 GiB–10,64 GiB	Nicht verfügbar
Qwen2.5-14B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 10,00 GiB–10,64 GiB	Nicht verfügbar
Qwen2.5-Coder-14B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 10,00 GiB–10,64 GiB	Nicht verfügbar
DeepSeek-V2-Lite-Chat	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	163.840	163.840	8192 Läuft mit Luft · Grobe Schätzung 10,01 GiB–12,23 GiB	Nicht verfügbar
gpt-oss-20b	MXFP4 safetensors `mxfp4` · `vllm`	131.072	131.072	8192 Läuft mit Luft 13,63 GiB–15,51 GiB	Nicht verfügbar
Mistral-Small-24B-Instruct-2501	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 14,72 GiB–15,45 GiB	Nicht verfügbar
Gemma 3 27B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	118.798	131.072	8192 Läuft mit Luft 17,20 GiB–17,97 GiB	Nicht verfügbar
Qwen3.8-27B	GGUF UD-IQ1_S (Unsloth) `gguf-ud-iq1_s` · `llama.cpp`	259.351	262.144	8192 Läuft mit Luft · Grobe Schätzung 6,54 GiB–8,14 GiB	Nicht verfügbar	Qwen3.8-27B · GeForce RTX 5090 32GB (desktop) Qwen3.8-27B · GeForce RTX 5090 32GB (desktop)
Qwen3-30B-A3B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Läuft mit Luft 18,16 GiB–18,93 GiB	Nicht verfügbar
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	90.567	137.546	8192 Läuft mit Luft 18,16 GiB–18,93 GiB	Nicht verfügbar
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	90.567	137.546	8192 Läuft mit Luft 18,16 GiB–18,93 GiB	Nicht verfügbar
Qwen3-32B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	29.579	40.960	8192 Passt 20,53 GiB–21,41 GiB	Nicht verfügbar
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	29.254	46.641	8192 Passt 20,61 GiB–21,50 GiB	Nicht verfügbar
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	29.254	46.641	8192 Passt 20,61 GiB–21,50 GiB	Nicht verfügbar
Qwen2.5-32B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	29.254	32.768	8192 Passt 20,61 GiB–21,50 GiB	Nicht verfügbar
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	29.254	32.768	8192 Passt 20,61 GiB–21,50 GiB	Nicht verfügbar
QwQ-32B	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	29.254	40.960	8192 Passt 20,61 GiB–21,50 GiB	Nicht verfügbar
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	29.254	46.641	8192 Passt 20,61 GiB–21,50 GiB	Nicht verfügbar
Drama 3	Unofficial int4 W4A16 (GPTQ-Marlin, with codec) `int4-w4a16-community` · `sglang`	24.401	262.144	8192 Passt · Grobe Schätzung 22,61 GiB–26,64 GiB	Nicht verfügbar

Freigegebene Kombinationen

DeepSeek-V4.1-Flash · GeForce RTX 5090 32GB (desktop)