¿Qué LLM locales caben en 32 GB de VRAM? (oct 2026)

GeForce RTX 5090 32GB (desktop) es la SKU del catálogo con el menor presupuesto neto en este tramo discreto de 32 GB: 30,00 GiB tras la reserva documentada. 59 modelos del catálogo caben con un artefacto con archivo. El mes sale del conjunto 2026-10-02.1 (oct 2026), no del reloj de compilación.

Conjunto de datos 2026-10-02.1 (oct 2026).

SKU del catálogo en este tramo

Tarjeta	Capacidad anunciada	Presupuesto neto
GeForce RTX 5090 32GB (desktop) Menor presupuesto neto	32 GB GDDR7	30,00 GiB

Modelos del catálogo que caben

Cada fila es un artefacto con archivo en la tarjeta de referencia. Una cuantización ausente no se sustituye. La búsqueda de contexto termina en el tope documentado. Si ese tope no existe, el veredicto es solo a 8192 tokens.

Si el catálogo no trae ancho de banda, el techo de decodificación dice no disponible. Eso no es un veredicto de memoria.

Modelo	Artefacto	Contexto máximo que cabe	Contexto máximo incluyendo justo	Veredicto a 8192 tokens	Techo de decodificación	Enlaces
Qwen2.5-0.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 0,68 GiB–1,07 GiB	No disponible
Qwen3-0.6B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Cabe con holgura 1,37 GiB–1,81 GiB	No disponible
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 1,10 GiB–1,50 GiB	No disponible
Llama 3.2 1B Instruct	Official BF16 safetensors `bf16` · `vllm`	131.072	131.072	8192 Cabe con holgura 3,18 GiB–5,06 GiB	No disponible
Qwen2.5-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 1,38 GiB–1,80 GiB	No disponible
Qwen2.5-Coder-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 1,38 GiB–1,80 GiB	No disponible
SmolLM2-1.7B-Instruct	GGUF Q4_K_M (Hugging Face) `gguf-q4_k_m` · `llama.cpp`	8192	8192	8192 Cabe con holgura 2,61 GiB–3,11 GiB	No disponible
Qwen3-1.7B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 2,03 GiB–2,49 GiB	No disponible
Qwen3-1.7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Cabe con holgura 2,03 GiB–2,49 GiB	No disponible
Qwen2.5-3B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 2,37 GiB–2,80 GiB	No disponible
Qwen2.5-Coder-3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 2,37 GiB–2,80 GiB	No disponible
Llama 3.2 3B Instruct	Official BF16 safetensors `bf16` · `vllm`	131.072	131.072	8192 Cabe con holgura 7,48 GiB–9,39 GiB	No disponible
Qwen2.5-VL-3B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128.000	128.000	8192 Cabe con holgura 2,20 GiB–2,63 GiB	No disponible
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	62.180	75.492	8192 Cabe con holgura 5,35 GiB–5,98 GiB	No disponible
Phi-4-mini-instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Cabe con holgura 3,45 GiB–3,94 GiB	No disponible
Qwen3-4B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Cabe con holgura 3,58 GiB–4,08 GiB	No disponible
Qwen3-4B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	165.108	200.607	8192 Cabe con holgura 3,58 GiB–4,08 GiB	No disponible
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131.072	131.072	8192 Cabe con holgura 3,33 GiB–3,79 GiB	No disponible
Qwen3-VL-4B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	165.108	200.607	8192 Cabe con holgura 3,58 GiB–4,08 GiB	No disponible
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 5,20 GiB–5,72 GiB	No disponible
DeepSeek-R1-Distill-Qwen-7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Cabe con holgura 4,92 GiB–5,42 GiB	No disponible
OpenMath-Nemotron-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Cabe con holgura 4,92 GiB–5,42 GiB	No disponible
Qwen2-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 4,92 GiB–5,42 GiB	No disponible
Qwen2.5-7B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 4,92 GiB–5,42 GiB	No disponible
Qwen2.5-Coder-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 4,92 GiB–5,42 GiB	No disponible
Qwen2.5-Coder-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 4,92 GiB–5,42 GiB	No disponible
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	4096	4096	8192 Cabe con holgura · Estimación aproximada 4,92 GiB–6,23 GiB	No disponible
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Cabe con holgura 5,71 GiB–6,24 GiB	No disponible
Llama 3.1 8B Instruct	Official BF16 safetensors `bf16` · `vllm`	75.894	118.107	8192 Cabe con holgura 16,58 GiB–18,49 GiB	No disponible
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM) `gguf-q4_k_m` · `llama.cpp`	131.072	131.072	8192 Cabe con holgura 5,98 GiB–6,53 GiB	No disponible
Qwen3-8B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Cabe con holgura 5,93 GiB–6,48 GiB	No disponible
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 5,93 GiB–6,48 GiB	No disponible
Qwen2.5-VL-7B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128.000	128.000	8192 Cabe con holgura 4,92 GiB–5,42 GiB	No disponible
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	147.947	183.446	8192 Cabe con holgura 5,93 GiB–6,48 GiB	No disponible	Qwen3-VL-8B-Instruct · GeForce RTX 5090 32GB (desktop)
GLM-4-9B-0414	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 6,18 GiB–6,69 GiB	No disponible
Gemma 3 12B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131.072	131.072	8192 Cabe con holgura 8,46 GiB–9,04 GiB	No disponible
Mistral-Nemo-Instruct-2407	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	118.804	131.072	8192 Cabe con holgura 8,34 GiB–8,94 GiB	No disponible
phi-4	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	16.384	16.384	8192 Cabe con holgura 9,97 GiB–10,62 GiB	No disponible
Phi-4-reasoning	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 10,12 GiB–10,77 GiB	No disponible
Qwen3-14B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Cabe con holgura 9,76 GiB–10,39 GiB	No disponible
OpenMath-Nemotron-14B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	91.677	117.441	8192 Cabe con holgura 10,00 GiB–10,64 GiB	No disponible
Qwen2.5-14B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 10,00 GiB–10,64 GiB	No disponible
Qwen2.5-Coder-14B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 10,00 GiB–10,64 GiB	No disponible
DeepSeek-V2-Lite-Chat	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	163.840	163.840	8192 Cabe con holgura · Estimación aproximada 10,01 GiB–12,23 GiB	No disponible
gpt-oss-20b	MXFP4 safetensors `mxfp4` · `vllm`	131.072	131.072	8192 Cabe con holgura 13,63 GiB–15,51 GiB	No disponible
Mistral-Small-24B-Instruct-2501	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 14,72 GiB–15,45 GiB	No disponible
Gemma 3 27B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	118.798	131.072	8192 Cabe con holgura 17,20 GiB–17,97 GiB	No disponible
Qwen3.8-27B	GGUF UD-IQ1_S (Unsloth) `gguf-ud-iq1_s` · `llama.cpp`	259.351	262.144	8192 Cabe con holgura · Estimación aproximada 6,54 GiB–8,14 GiB	No disponible	Qwen3.8-27B · GeForce RTX 5090 32GB (desktop) Qwen3.8-27B · GeForce RTX 5090 32GB (desktop)
Qwen3-30B-A3B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Cabe con holgura 18,16 GiB–18,93 GiB	No disponible
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	90.567	137.546	8192 Cabe con holgura 18,16 GiB–18,93 GiB	No disponible
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	90.567	137.546	8192 Cabe con holgura 18,16 GiB–18,93 GiB	No disponible
Qwen3-32B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	29.579	40.960	8192 Cabe 20,53 GiB–21,41 GiB	No disponible
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	29.254	46.641	8192 Cabe 20,61 GiB–21,50 GiB	No disponible
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	29.254	46.641	8192 Cabe 20,61 GiB–21,50 GiB	No disponible
Qwen2.5-32B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	29.254	32.768	8192 Cabe 20,61 GiB–21,50 GiB	No disponible
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	29.254	32.768	8192 Cabe 20,61 GiB–21,50 GiB	No disponible
QwQ-32B	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	29.254	40.960	8192 Cabe 20,61 GiB–21,50 GiB	No disponible
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	29.254	46.641	8192 Cabe 20,61 GiB–21,50 GiB	No disponible
Drama 3	Unofficial int4 W4A16 (GPTQ-Marlin, with codec) `int4-w4a16-community` · `sglang`	24.401	262.144	8192 Cabe · Estimación aproximada 22,61 GiB–26,64 GiB	No disponible

Combinaciones permitidas

DeepSeek-V4.1-Flash · GeForce RTX 5090 32GB (desktop)