¿Qué LLM locales caben en 48 GB de VRAM? (oct 2026)
NVIDIA L40S 48GB es la SKU del catálogo con el menor presupuesto neto en este tramo discreto de 48 GB: 46,00 GiB tras la reserva documentada. 61 modelos del catálogo caben con un artefacto con archivo. El mes sale del conjunto 2026-10-02.1 (oct 2026), no del reloj de compilación.
Conjunto de datos 2026-10-02.1 (oct 2026).
SKU del catálogo en este tramo
| Tarjeta | Capacidad anunciada | Presupuesto neto |
|---|---|---|
| NVIDIA L40S 48GB Menor presupuesto neto | 48GB GDDR6 with ECC | 46,00 GiB |
Modelos del catálogo que caben
Cada fila es un artefacto con archivo en la tarjeta de referencia. Una cuantización ausente no se sustituye. La búsqueda de contexto termina en el tope documentado. Si ese tope no existe, el veredicto es solo a 8192 tokens.
Si el catálogo no trae ancho de banda, el techo de decodificación dice no disponible. Eso no es un veredicto de memoria.
| Modelo | Artefacto | Contexto máximo que cabe | Contexto máximo incluyendo justo | Veredicto a 8192 tokens | Techo de decodificación | Enlaces |
|---|---|---|---|---|---|---|
| Qwen2.5-0.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura0,68 GiB–1,07 GiB | No disponible | |
| Qwen3-0.6B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura1,37 GiB–1,81 GiB | No disponible | |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura1,10 GiB–1,50 GiB | No disponible | |
| Llama 3.2 1B Instruct | Official BF16 safetensorsbf16 · vllm | 131.072 | 131.072 | 8192 Cabe con holgura3,18 GiB–5,06 GiB | No disponible | |
| Qwen2.5-1.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura1,38 GiB–1,80 GiB | No disponible | |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura1,38 GiB–1,80 GiB | No disponible | |
| SmolLM2-1.7B-Instruct | GGUF Q4_K_M (Hugging Face)gguf-q4_k_m · llama.cpp | 8192 | 8192 | 8192 Cabe con holgura2,61 GiB–3,11 GiB | No disponible | |
| Qwen3-1.7B-Base | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura2,03 GiB–2,49 GiB | No disponible | |
| Qwen3-1.7B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura2,03 GiB–2,49 GiB | No disponible | |
| Qwen2.5-3B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura2,37 GiB–2,80 GiB | No disponible | |
| Qwen2.5-Coder-3B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura2,37 GiB–2,80 GiB | No disponible | |
| Llama 3.2 3B Instruct | Official BF16 safetensorsbf16 · vllm | 131.072 | 131.072 | 8192 Cabe con holgura7,48 GiB–9,39 GiB | No disponible | |
| Qwen2.5-VL-3B-Instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 128.000 | 128.000 | 8192 Cabe con holgura2,20 GiB–2,63 GiB | No disponible | |
| Phi-3.5-mini-instruct | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 100.730 | 119.183 | 8192 Cabe con holgura5,35 GiB–5,98 GiB | No disponible | |
| Phi-4-mini-instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura3,45 GiB–3,94 GiB | No disponible | |
| Qwen3-4B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura3,58 GiB–4,08 GiB | No disponible | |
| Qwen3-4B-Instruct-2507 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 262.144 | 262.144 | 8192 Cabe con holgura3,58 GiB–4,08 GiB | No disponible | |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura3,33 GiB–3,79 GiB | No disponible | |
| Qwen3-VL-4B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 262.144 | 262.144 | 8192 Cabe con holgura3,58 GiB–4,08 GiB | No disponible | |
| Mistral-7B-Instruct-v0.3 | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura5,20 GiB–5,72 GiB | No disponible | |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| OpenMath-Nemotron-7B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2-7B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2.5-7B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2.5-Coder-7B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2.5-Coder-7B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2.5-Math-7B-Instruct | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 4096 | 4096 | 8192 Cabe con holgura · Estimación aproximada4,92 GiB–6,23 GiB | No disponible | |
| DeepSeek-R1-Distill-Llama-8B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura5,71 GiB–6,24 GiB | No disponible | |
| Llama 3.1 8B Instruct | Official BF16 safetensorsbf16 · vllm | 131.072 | 131.072 | 8192 Cabe con holgura16,58 GiB–18,49 GiB | No disponible | |
| granite-3.3-8b-instruct | GGUF Q4_K_M (IBM)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura5,98 GiB–6,53 GiB | No disponible | |
| Qwen3-8B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura5,93 GiB–6,48 GiB | No disponible | |
| Qwen3-8B-Base | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura5,93 GiB–6,48 GiB | No disponible | |
| Qwen2.5-VL-7B-Instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 128.000 | 128.000 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen3-VL-8B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 250.749 | 262.144 | 8192 Cabe con holgura5,93 GiB–6,48 GiB | No disponible | |
| GLM-4-9B-0414 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura6,18 GiB–6,69 GiB | No disponible | |
| Gemma 3 12B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura8,46 GiB–9,04 GiB | No disponible | |
| Mistral-Nemo-Instruct-2407 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura8,34 GiB–8,94 GiB | No disponible | |
| phi-4 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 16.384 | 16.384 | 8192 Cabe con holgura9,97 GiB–10,62 GiB | No disponible | |
| Phi-4-reasoning | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura10,12 GiB–10,77 GiB | No disponible | |
| Qwen3-14B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura9,76 GiB–10,39 GiB | No disponible | |
| OpenMath-Nemotron-14B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura10,00 GiB–10,64 GiB | No disponible | |
| Qwen2.5-14B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura10,00 GiB–10,64 GiB | No disponible | |
| Qwen2.5-Coder-14B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura10,00 GiB–10,64 GiB | No disponible | |
| DeepSeek-V2-Lite-Chat | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 163.840 | 163.840 | 8192 Cabe con holgura · Estimación aproximada10,01 GiB–12,23 GiB | No disponible | |
| gpt-oss-20b | MXFP4 safetensorsmxfp4 · vllm | 131.072 | 131.072 | 8192 Cabe con holgura13,63 GiB–15,51 GiB | No disponible | |
| Mistral-Small-24B-Instruct-2501 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura14,72 GiB–15,45 GiB | No disponible | |
| Gemma 3 27B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura17,20 GiB–17,97 GiB | No disponible | |
| Qwen3.8-27B | GGUF UD-IQ1_S (Unsloth)gguf-ud-iq1_s · llama.cpp | 262.144 | 262.144 | 8192 Cabe con holgura · Estimación aproximada6,54 GiB–8,14 GiB | No disponible | |
| Qwen3-30B-A3B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura18,16 GiB–18,93 GiB | No disponible | |
| Qwen3-30B-A3B-Instruct-2507 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 238.500 | 262.144 | 8192 Cabe con holgura18,16 GiB–18,93 GiB | No disponible | |
| Qwen3-VL-30B-A3B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 238.500 | 262.144 | 8192 Cabe con holgura18,16 GiB–18,93 GiB | No disponible | |
| Qwen3-32B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura20,53 GiB–21,41 GiB | No disponible | |
| DeepSeek-R1-Distill-Qwen-32B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 84.499 | 112.177 | 8192 Cabe con holgura20,61 GiB–21,50 GiB | No disponible | |
| OpenMath-Nemotron-32B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 84.499 | 112.177 | 8192 Cabe con holgura20,61 GiB–21,50 GiB | No disponible | |
| Qwen2.5-32B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura20,61 GiB–21,50 GiB | No disponible | |
| Qwen2.5-Coder-32B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura20,61 GiB–21,50 GiB | No disponible | |
| QwQ-32B | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura20,61 GiB–21,50 GiB | No disponible | |
| Qwen2.5-VL-32B-Instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 84.499 | 112.177 | 8192 Cabe con holgura20,61 GiB–21,50 GiB | No disponible | |
| Drama 3 | Unofficial int4 W4A16 (GPTQ-Marlin, with codec)int4-w4a16-community · sglang | 262.144 | 262.144 | 8192 Cabe con holgura · Estimación aproximada22,61 GiB–26,64 GiB | No disponible | |
| Mixtral-8x7B-Instruct-v0.1 | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura27,62 GiB–28,59 GiB | No disponible | |
| Llama-3.1-Nemotron-70B-Instruct-HF | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 1631 | 20.561 | 8192 Ajustado42,23 GiB–43,57 GiB | No disponible |