8 GB VRAM LLM: Welche Modelle laufen? (Okt. 2026)

GeForce RTX 3060 8GB (desktop) ist die Katalog-SKU dieser diskreten 8-GB-Stufe mit dem kleinsten Nettobudget: 7,00 GiB nach der belegten Reserve. 32 Katalogmodelle passen mit einem dateigestützten Artefakt. Der Monat folgt Datensatz 2026-10-02.1 (Okt. 2026), nicht der Uhrzeit beim Bauen.

Katalogdatensatz 2026-10-02.1 (Okt. 2026).

Katalog-SKUs in dieser Stufe

Karte	Beworbene Kapazität	Nettobudget
GeForce RTX 3060 8GB (desktop) Kleinstes Nettobudget	8 GB GDDR6	7,00 GiB
GeForce RTX 3070 8GB (desktop)	8 GB GDDR6	7,00 GiB
GeForce RTX 4060 8GB (desktop)	8 GB GDDR6	7,00 GiB
GeForce RTX 5060 Ti 8GB (desktop)	8 GB GDDR7	7,00 GiB

Katalogmodelle, die passen

Jede Zeile ist ein dateigestütztes Artefakt auf der Referenzkarte. Ein fehlendes Quantisierungsformat wird nicht ersetzt. Die Kontextsuche endet an der belegten Obergrenze. Fehlt diese Obergrenze, steht nur das Urteil bei 8192 Token.

Fehlt die Bandbreite im Katalog, heißt die Dekodiergrenze nicht verfügbar. Das ist kein Speichervurteil.

Modell	Artefakt	Längster passender Kontext	Längster Kontext inklusive knapp	Urteil bei 8192 Token	Dekodiergrenze	Verweise
Qwen2.5-0.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 0,68 GiB–1,07 GiB	Nicht verfügbar
Qwen3-0.6B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Läuft mit Luft 1,37 GiB–1,81 GiB	Nicht verfügbar
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 1,10 GiB–1,50 GiB	Nicht verfügbar
Llama 3.2 1B Instruct	Official BF16 safetensors `bf16` · `vllm`	47.659	131.072	8192 Passt 3,18 GiB–5,06 GiB	Nicht verfügbar
Qwen2.5-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 1,38 GiB–1,80 GiB	Nicht verfügbar
Qwen2.5-Coder-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 1,38 GiB–1,80 GiB	Nicht verfügbar
SmolLM2-1.7B-Instruct	GGUF Q4_K_M (Hugging Face) `gguf-q4_k_m` · `llama.cpp`	8.192	8.192	8192 Läuft mit Luft 2,61 GiB–3,11 GiB	Nicht verfügbar
Qwen3-1.7B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 2,03 GiB–2,49 GiB	Nicht verfügbar
Qwen3-1.7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Läuft mit Luft 2,03 GiB–2,49 GiB	Nicht verfügbar
Qwen2.5-3B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 2,37 GiB–2,80 GiB	Nicht verfügbar
Qwen2.5-Coder-3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Läuft mit Luft 2,37 GiB–2,80 GiB	Nicht verfügbar
Qwen2.5-VL-3B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	107.979	128.000	8192 Läuft mit Luft 2,20 GiB–2,63 GiB	Nicht verfügbar
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	8.999	12.687	8192 Passt 5,35 GiB–5,98 GiB	Nicht verfügbar	Phi-3.5-mini-instruct · GeForce RTX 4060 8GB (desktop)
Phi-4-mini-instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	26.282	37.308	8192 Läuft mit Luft 3,45 GiB–3,94 GiB	Nicht verfügbar
Qwen3-4B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	23.326	33.126	8192 Läuft mit Luft 3,58 GiB–4,08 GiB	Nicht verfügbar
Qwen3-4B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23.326	33.126	8192 Läuft mit Luft 3,58 GiB–4,08 GiB	Nicht verfügbar
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131.072	131.072	8192 Läuft mit Luft 3,33 GiB–3,79 GiB	Nicht verfügbar
Qwen3-VL-4B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23.326	33.126	8192 Läuft mit Luft 3,58 GiB–4,08 GiB	Nicht verfügbar
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	12.602	22.958	8192 Passt 5,20 GiB–5,72 GiB	Nicht verfügbar
DeepSeek-R1-Distill-Qwen-7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23.647	47.065	8192 Passt 4,92 GiB–5,42 GiB	Nicht verfügbar
OpenMath-Nemotron-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	23.647	47.065	8192 Passt 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23.647	32.768	8192 Passt 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2.5-7B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	23.647	32.768	8192 Passt 4,92 GiB–5,42 GiB	Nicht verfügbar	Qwen2.5-7B-Instruct · GeForce RTX 4060 8GB (desktop)
Qwen2.5-Coder-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	23.647	32.768	8192 Passt 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2.5-Coder-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23.647	32.768	8192 Passt 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	4.096	4.096	8192 Passt · Grobe Schätzung 4,92 GiB–6,23 GiB	Nicht verfügbar
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	8.617	18.777	8192 Passt 5,71 GiB–6,24 GiB	Nicht verfügbar
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM) `gguf-q4_k_m` · `llama.cpp`	7.096	14.887	8192 Knapp 5,98 GiB–6,53 GiB	Nicht verfügbar
Qwen3-8B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	7.309	15.965	8192 Knapp 5,93 GiB–6,48 GiB	Nicht verfügbar
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	7.309	15.965	8192 Knapp 5,93 GiB–6,48 GiB	Nicht verfügbar
Qwen2.5-VL-7B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23.647	47.065	8192 Passt 4,92 GiB–5,42 GiB	Nicht verfügbar
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	7.309	15.965	8192 Knapp 5,93 GiB–6,48 GiB	Nicht verfügbar