48 GB VRAM LLM: Welche Modelle laufen? (Okt. 2026)

NVIDIA L40S 48GB ist die Katalog-SKU dieser diskreten 48-GB-Stufe mit dem kleinsten Nettobudget: 46,00 GiB nach der belegten Reserve. 61 Katalogmodelle passen mit einem dateigestützten Artefakt. Der Monat folgt Datensatz 2026-10-02.1 (Okt. 2026), nicht der Uhrzeit beim Bauen.

Katalogdatensatz 2026-10-02.1 (Okt. 2026).

Katalog-SKUs in dieser Stufe

KarteBeworbene KapazitätNettobudget
NVIDIA L40S 48GB
Kleinstes Nettobudget
48GB GDDR6 with ECC46,00 GiB

Katalogmodelle, die passen

Jede Zeile ist ein dateigestütztes Artefakt auf der Referenzkarte. Ein fehlendes Quantisierungsformat wird nicht ersetzt. Die Kontextsuche endet an der belegten Obergrenze. Fehlt diese Obergrenze, steht nur das Urteil bei 8192 Token.

Fehlt die Bandbreite im Katalog, heißt die Dekodiergrenze nicht verfügbar. Das ist kein Speichervurteil.

ModellArtefaktLängster passender KontextLängster Kontext inklusive knappUrteil bei 8192 TokenDekodiergrenzeVerweise
Qwen2.5-0.5B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
0,68 GiB–1,07 GiB
Nicht verfügbar
Qwen3-0.6BGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
40.96040.960
8192
Läuft mit Luft
1,37 GiB–1,81 GiB
Nicht verfügbar
Gemma 3 1B ITGGUF Q4_0 (Google QAT)
gguf-q4_0 · llama.cpp
32.76832.768
8192
Läuft mit Luft
1,10 GiB–1,50 GiB
Nicht verfügbar
Llama 3.2 1B InstructOfficial BF16 safetensors
bf16 · vllm
131.072131.072
8192
Läuft mit Luft
3,18 GiB–5,06 GiB
Nicht verfügbar
Qwen2.5-1.5B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
1,38 GiB–1,80 GiB
Nicht verfügbar
Qwen2.5-Coder-1.5B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
1,38 GiB–1,80 GiB
Nicht verfügbar
SmolLM2-1.7B-InstructGGUF Q4_K_M (Hugging Face)
gguf-q4_k_m · llama.cpp
8.1928.192
8192
Läuft mit Luft
2,61 GiB–3,11 GiB
Nicht verfügbar
Qwen3-1.7B-BaseGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
2,03 GiB–2,49 GiB
Nicht verfügbar
Qwen3-1.7BGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
40.96040.960
8192
Läuft mit Luft
2,03 GiB–2,49 GiB
Nicht verfügbar
Qwen2.5-3B-InstructGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
2,37 GiB–2,80 GiB
Nicht verfügbar
Qwen2.5-Coder-3B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
2,37 GiB–2,80 GiB
Nicht verfügbar
Llama 3.2 3B InstructOfficial BF16 safetensors
bf16 · vllm
131.072131.072
8192
Läuft mit Luft
7,48 GiB–9,39 GiB
Nicht verfügbar
Qwen2.5-VL-3B-InstructGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
128.000128.000
8192
Läuft mit Luft
2,20 GiB–2,63 GiB
Nicht verfügbar
Phi-3.5-mini-instructGGUF Q4_K_M (bartowski)
gguf-q4_k_m · llama.cpp
100.730119.183
8192
Läuft mit Luft
5,35 GiB–5,98 GiB
Nicht verfügbar
Phi-4-mini-instructGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
131.072131.072
8192
Läuft mit Luft
3,45 GiB–3,94 GiB
Nicht verfügbar
Qwen3-4BGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
40.96040.960
8192
Läuft mit Luft
3,58 GiB–4,08 GiB
Nicht verfügbar
Qwen3-4B-Instruct-2507GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
262.144262.144
8192
Läuft mit Luft
3,58 GiB–4,08 GiB
Nicht verfügbar
Gemma 3 4B ITGGUF Q4_0 (Google QAT)
gguf-q4_0 · llama.cpp
131.072131.072
8192
Läuft mit Luft
3,33 GiB–3,79 GiB
Nicht verfügbar
Qwen3-VL-4B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
262.144262.144
8192
Läuft mit Luft
3,58 GiB–4,08 GiB
Nicht verfügbar
Mistral-7B-Instruct-v0.3GGUF Q4_K_M (bartowski)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
5,20 GiB–5,72 GiB
Nicht verfügbar
DeepSeek-R1-Distill-Qwen-7BGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
131.072131.072
8192
Läuft mit Luft
4,92 GiB–5,42 GiB
Nicht verfügbar
OpenMath-Nemotron-7BGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · llama.cpp
131.072131.072
8192
Läuft mit Luft
4,92 GiB–5,42 GiB
Nicht verfügbar
Qwen2-7B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
4,92 GiB–5,42 GiB
Nicht verfügbar
Qwen2.5-7B-InstructGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
4,92 GiB–5,42 GiB
Nicht verfügbar
Qwen2.5-Coder-7BGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
4,92 GiB–5,42 GiB
Nicht verfügbar
Qwen2.5-Coder-7B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
4,92 GiB–5,42 GiB
Nicht verfügbar
Qwen2.5-Math-7B-InstructGGUF Q4_K_M (bartowski)
gguf-q4_k_m · llama.cpp
4.0964.096
8192
Läuft mit Luft · Grobe Schätzung
4,92 GiB–6,23 GiB
Nicht verfügbar
DeepSeek-R1-Distill-Llama-8BGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
131.072131.072
8192
Läuft mit Luft
5,71 GiB–6,24 GiB
Nicht verfügbar
Llama 3.1 8B InstructOfficial BF16 safetensors
bf16 · vllm
131.072131.072
8192
Läuft mit Luft
16,58 GiB–18,49 GiB
Nicht verfügbar
granite-3.3-8b-instructGGUF Q4_K_M (IBM)
gguf-q4_k_m · llama.cpp
131.072131.072
8192
Läuft mit Luft
5,98 GiB–6,53 GiB
Nicht verfügbar
Qwen3-8BGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
40.96040.960
8192
Läuft mit Luft
5,93 GiB–6,48 GiB
Nicht verfügbar
Qwen3-8B-BaseGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
5,93 GiB–6,48 GiB
Nicht verfügbar
Qwen2.5-VL-7B-InstructGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
128.000128.000
8192
Läuft mit Luft
4,92 GiB–5,42 GiB
Nicht verfügbar
Qwen3-VL-8B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
250.749262.144
8192
Läuft mit Luft
5,93 GiB–6,48 GiB
Nicht verfügbar
GLM-4-9B-0414GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
6,18 GiB–6,69 GiB
Nicht verfügbar
Gemma 3 12B ITGGUF Q4_0 (Google QAT)
gguf-q4_0 · llama.cpp
131.072131.072
8192
Läuft mit Luft
8,46 GiB–9,04 GiB
Nicht verfügbar
Mistral-Nemo-Instruct-2407GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
131.072131.072
8192
Läuft mit Luft
8,34 GiB–8,94 GiB
Nicht verfügbar
phi-4GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
16.38416.384
8192
Läuft mit Luft
9,97 GiB–10,62 GiB
Nicht verfügbar
Phi-4-reasoningGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
10,12 GiB–10,77 GiB
Nicht verfügbar
Qwen3-14BGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
40.96040.960
8192
Läuft mit Luft
9,76 GiB–10,39 GiB
Nicht verfügbar
OpenMath-Nemotron-14BGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · llama.cpp
131.072131.072
8192
Läuft mit Luft
10,00 GiB–10,64 GiB
Nicht verfügbar
Qwen2.5-14B-InstructGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
10,00 GiB–10,64 GiB
Nicht verfügbar
Qwen2.5-Coder-14B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
10,00 GiB–10,64 GiB
Nicht verfügbar
DeepSeek-V2-Lite-ChatGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · llama.cpp
163.840163.840
8192
Läuft mit Luft · Grobe Schätzung
10,01 GiB–12,23 GiB
Nicht verfügbar
gpt-oss-20bMXFP4 safetensors
mxfp4 · vllm
131.072131.072
8192
Läuft mit Luft
13,63 GiB–15,51 GiB
Nicht verfügbar
Mistral-Small-24B-Instruct-2501GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
14,72 GiB–15,45 GiB
Nicht verfügbar
Gemma 3 27B ITGGUF Q4_0 (Google QAT)
gguf-q4_0 · llama.cpp
131.072131.072
8192
Läuft mit Luft
17,20 GiB–17,97 GiB
Nicht verfügbar
Qwen3.8-27BGGUF UD-IQ1_S (Unsloth)
gguf-ud-iq1_s · llama.cpp
262.144262.144
8192
Läuft mit Luft · Grobe Schätzung
6,54 GiB–8,14 GiB
Nicht verfügbar
Qwen3-30B-A3BGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
40.96040.960
8192
Läuft mit Luft
18,16 GiB–18,93 GiB
Nicht verfügbar
Qwen3-30B-A3B-Instruct-2507GGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
238.500262.144
8192
Läuft mit Luft
18,16 GiB–18,93 GiB
Nicht verfügbar
Qwen3-VL-30B-A3B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
238.500262.144
8192
Läuft mit Luft
18,16 GiB–18,93 GiB
Nicht verfügbar
Qwen3-32BGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
40.96040.960
8192
Läuft mit Luft
20,53 GiB–21,41 GiB
Nicht verfügbar
DeepSeek-R1-Distill-Qwen-32BGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
84.499112.177
8192
Läuft mit Luft
20,61 GiB–21,50 GiB
Nicht verfügbar
OpenMath-Nemotron-32BGGUF Q4_K_M (mradermacher)
gguf-q4_k_m · llama.cpp
84.499112.177
8192
Läuft mit Luft
20,61 GiB–21,50 GiB
Nicht verfügbar
Qwen2.5-32B-InstructGGUF Q4_K_M
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
20,61 GiB–21,50 GiB
Nicht verfügbar
Qwen2.5-Coder-32B-InstructGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
20,61 GiB–21,50 GiB
Nicht verfügbar
QwQ-32BGGUF Q4_K_M (Qwen)
gguf-q4_k_m · llama.cpp
40.96040.960
8192
Läuft mit Luft
20,61 GiB–21,50 GiB
Nicht verfügbar
Qwen2.5-VL-32B-InstructGGUF Q4_K_M (Unsloth)
gguf-q4_k_m · llama.cpp
84.499112.177
8192
Läuft mit Luft
20,61 GiB–21,50 GiB
Nicht verfügbar
Drama 3Unofficial int4 W4A16 (GPTQ-Marlin, with codec)
int4-w4a16-community · sglang
262.144262.144
8192
Läuft mit Luft · Grobe Schätzung
22,61 GiB–26,64 GiB
Nicht verfügbar
Mixtral-8x7B-Instruct-v0.1GGUF Q4_K_M (mradermacher)
gguf-q4_k_m · llama.cpp
32.76832.768
8192
Läuft mit Luft
27,62 GiB–28,59 GiB
Nicht verfügbar
Llama-3.1-Nemotron-70B-Instruct-HFGGUF Q4_K_M (bartowski)
gguf-q4_k_m · llama.cpp
1.63120.561
8192
Knapp
42,23 GiB–43,57 GiB
Nicht verfügbar