¿Qué LLM locales caben en 24 GB de VRAM? (oct 2026)
Radeon RX 7900 XTX 24GB (desktop) es la SKU del catálogo con el menor presupuesto neto en este tramo discreto de 24 GB: 22,00 GiB tras la reserva documentada. 58 modelos del catálogo caben con un artefacto con archivo. El mes sale del conjunto 2026-10-02.1 (oct 2026), no del reloj de compilación.
Conjunto de datos 2026-10-02.1 (oct 2026).
SKU del catálogo en este tramo
| Tarjeta | Capacidad anunciada | Presupuesto neto |
|---|---|---|
| Radeon RX 7900 XTX 24GB (desktop) Menor presupuesto neto | 24 GB GDDR6 | 22,00 GiB |
| GeForce RTX 3090 24GB (desktop) | 24 GB GDDR6X | 22,00 GiB |
| GeForce RTX 4090 24GB (desktop) | 24 GB GDDR6X | 22,00 GiB |
Modelos del catálogo que caben
Cada fila es un artefacto con archivo en la tarjeta de referencia. Una cuantización ausente no se sustituye. La búsqueda de contexto termina en el tope documentado. Si ese tope no existe, el veredicto es solo a 8192 tokens.
Si el catálogo no trae ancho de banda, el techo de decodificación dice no disponible. Eso no es un veredicto de memoria.
| Modelo | Artefacto | Contexto máximo que cabe | Contexto máximo incluyendo justo | Veredicto a 8192 tokens | Techo de decodificación | Enlaces |
|---|---|---|---|---|---|---|
| Qwen2.5-0.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura0,68 GiB–1,07 GiB | No disponible | |
| Qwen3-0.6B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura1,37 GiB–1,81 GiB | No disponible | |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura1,10 GiB–1,50 GiB | No disponible | |
| Llama 3.2 1B Instruct | Official BF16 safetensorsbf16 · vllm | 131.072 | 131.072 | 8192 Cabe con holgura3,18 GiB–5,06 GiB | No disponible | |
| Qwen2.5-1.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura1,38 GiB–1,80 GiB | No disponible | |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura1,38 GiB–1,80 GiB | No disponible | |
| SmolLM2-1.7B-Instruct | GGUF Q4_K_M (Hugging Face)gguf-q4_k_m · llama.cpp | 8192 | 8192 | 8192 Cabe con holgura2,61 GiB–3,11 GiB | No disponible | |
| Qwen3-1.7B-Base | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura2,03 GiB–2,49 GiB | No disponible | |
| Qwen3-1.7B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura2,03 GiB–2,49 GiB | No disponible | |
| Qwen2.5-3B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura2,37 GiB–2,80 GiB | No disponible | |
| Qwen2.5-Coder-3B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura2,37 GiB–2,80 GiB | No disponible | |
| Llama 3.2 3B Instruct | Official BF16 safetensorsbf16 · vllm | 102.855 | 131.072 | 8192 Cabe con holgura7,48 GiB–9,39 GiB | No disponible | |
| Qwen2.5-VL-3B-Instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 128.000 | 128.000 | 8192 Cabe con holgura2,20 GiB–2,63 GiB | No disponible | |
| Phi-3.5-mini-instruct | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 43.452 | 53.647 | 8192 Cabe con holgura5,35 GiB–5,98 GiB | No disponible | |
| Phi-4-mini-instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 129.639 | 131.072 | 8192 Cabe con holgura3,45 GiB–3,94 GiB | No disponible | |
| Qwen3-4B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura3,58 GiB–4,08 GiB | No disponible | |
| Qwen3-4B-Instruct-2507 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 115.199 | 142.353 | 8192 Cabe con holgura3,58 GiB–4,08 GiB | No disponible | |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura3,33 GiB–3,79 GiB | No disponible | |
| Qwen3-VL-4B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 115.199 | 142.353 | 8192 Cabe con holgura3,58 GiB–4,08 GiB | No disponible | |
| Mistral-7B-Instruct-v0.3 | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura5,20 GiB–5,72 GiB | No disponible | |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| OpenMath-Nemotron-7B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2-7B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2.5-7B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2.5-Coder-7B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2.5-Coder-7B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen2.5-Math-7B-Instruct | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 4096 | 4096 | 8192 Cabe con holgura · Estimación aproximada4,92 GiB–6,23 GiB | No disponible | |
| DeepSeek-R1-Distill-Llama-8B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 111.974 | 131.072 | 8192 Cabe con holgura5,71 GiB–6,24 GiB | No disponible | |
| Llama 3.1 8B Instruct | Official BF16 safetensorsbf16 · vllm | 18.630 | 52.571 | 8192 Cabe16,58 GiB–18,49 GiB | No disponible | |
| granite-3.3-8b-instruct | GGUF Q4_K_M (IBM)gguf-q4_k_m · llama.cpp | 89.450 | 113.191 | 8192 Cabe con holgura5,98 GiB–6,53 GiB | No disponible | |
| Qwen3-8B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura5,93 GiB–6,48 GiB | No disponible | |
| Qwen3-8B-Base | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura5,93 GiB–6,48 GiB | No disponible | |
| Qwen2.5-VL-7B-Instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 128.000 | 128.000 | 8192 Cabe con holgura4,92 GiB–5,42 GiB | No disponible | |
| Qwen3-VL-8B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 98.840 | 125.192 | 8192 Cabe con holgura5,93 GiB–6,48 GiB | No disponible | |
| GLM-4-9B-0414 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura6,18 GiB–6,69 GiB | No disponible | |
| Gemma 3 12B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 131.072 | 131.072 | 8192 Cabe con holgura8,46 GiB–9,04 GiB | No disponible | |
| Mistral-Nemo-Instruct-2407 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 74.705 | 97.722 | 8192 Cabe con holgura8,34 GiB–8,94 GiB | No disponible | |
| phi-4 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 16.384 | 16.384 | 8192 Cabe con holgura9,97 GiB–10,62 GiB | No disponible | |
| Phi-4-reasoning | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura10,12 GiB–10,77 GiB | No disponible | |
| Qwen3-14B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Cabe con holgura9,76 GiB–10,39 GiB | No disponible | |
| OpenMath-Nemotron-14B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 54.928 | 73.750 | 8192 Cabe con holgura10,00 GiB–10,64 GiB | No disponible | |
| Qwen2.5-14B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura10,00 GiB–10,64 GiB | No disponible | |
| Qwen2.5-Coder-14B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe con holgura10,00 GiB–10,64 GiB | No disponible | |
| DeepSeek-V2-Lite-Chat | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 163.840 | 163.840 | 8192 Cabe con holgura · Estimación aproximada10,01 GiB–12,23 GiB | No disponible | |
| gpt-oss-20b | MXFP4 safetensorsmxfp4 · vllm | 131.072 | 131.072 | 8192 Cabe13,63 GiB–15,51 GiB | No disponible | |
| Mistral-Small-24B-Instruct-2501 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Cabe14,72 GiB–15,45 GiB | No disponible | |
| Gemma 3 27B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 30.600 | 71.072 | 8192 Cabe17,20 GiB–17,97 GiB | No disponible | |
| Qwen3.8-27B | GGUF UD-IQ1_S (Unsloth)gguf-ud-iq1_s · llama.cpp | 163.484 | 261.490 | 8192 Cabe con holgura · Estimación aproximada6,54 GiB–8,14 GiB | No disponible | |
| Qwen3-30B-A3B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 17.068 | 40.960 | 8192 Cabe18,16 GiB–18,93 GiB | No disponible | |
| Qwen3-30B-A3B-Instruct-2507 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 17.068 | 50.164 | 8192 Cabe18,16 GiB–18,93 GiB | No disponible | |
| Qwen3-VL-30B-A3B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 17.068 | 50.164 | 8192 Cabe18,16 GiB–18,93 GiB | No disponible | |
| Qwen3-32B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 2116 | 14.213 | 8192 Ajustado20,53 GiB–21,41 GiB | No disponible | |
| DeepSeek-R1-Distill-Qwen-32B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 1775 | 13.873 | 8192 Ajustado20,61 GiB–21,50 GiB | No disponible | |
| OpenMath-Nemotron-32B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 1775 | 13.873 | 8192 Ajustado20,61 GiB–21,50 GiB | No disponible | |
| Qwen2.5-32B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 1775 | 13.873 | 8192 Ajustado20,61 GiB–21,50 GiB | No disponible | |
| Qwen2.5-Coder-32B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 1775 | 13.873 | 8192 Ajustado20,61 GiB–21,50 GiB | No disponible | |
| QwQ-32B | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 1775 | 13.873 | 8192 Ajustado20,61 GiB–21,50 GiB | No disponible | |
| Qwen2.5-VL-32B-Instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 1775 | 13.873 | 8192 Ajustado20,61 GiB–21,50 GiB | No disponible |