Qué LLM locales caben en RTX 4090 (24 GB GDDR6X)

La RTX 4090 tiene 24 GB GDDR6X. Tras reservar 2 GiB para el sistema y la pantalla, quedan unos 22 GiB para un modelo. Con un contexto de 8K, el modelo más grande de nuestra lista que cabe es Qwen3-30B-A3B con Q4_K_M (unos 18,9 GiB). Qwen2.5-32B-Instruct con Q4_K_M va justo (unos 20,6 GiB–21,5 GiB).

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

Qué modelos caben con 8K

Cada modelo usa el archivo de mayor precisión que cabe, con un chat a la vez.

Cabe (51)

Modelo	Cuantización	Total
Qwen3.8-27B	GGUF Q4_K_M (mradermacher)	16,4 GiB–19,7 GiB
DeepSeek-V2-Lite-Chat	GGUF Q8_0 (mradermacher)	15,9 GiB–19,2 GiB
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen)	18,2 GiB–18,9 GiB
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth)	18,2 GiB–18,9 GiB
Qwen3-30B-A3B	GGUF Q4_K_M	18,2 GiB–18,9 GiB
Gemma 3 27B IT	GGUF Q4_0 (Google QAT)	17,2 GiB–18,0 GiB
Mistral-Small-24B-Instruct-2501	GGUF Q5_K_M (bartowski)	17,0 GiB–17,8 GiB
Qwen2.5-14B-Instruct	GGUF Q8_0	16,2 GiB–17,0 GiB
Qwen2.5-Coder-14B-Instruct	GGUF Q8_0 (Qwen)	16,2 GiB–17,0 GiB
OpenMath-Nemotron-14B	GGUF Q8_0 (mradermacher)	16,2 GiB–17,0 GiB
Phi-4-reasoning	GGUF Q8_0 (Unsloth)	16,2 GiB–17,0 GiB
phi-4	GGUF Q8_0 (Microsoft)	16,2 GiB–17,0 GiB
Llama 3.1 8B Instruct	Official BF16 safetensors	16,1 GiB–16,8 GiB
Qwen3-14B	GGUF Q8_0 (Qwen)	16,0 GiB–16,8 GiB
Mistral-Nemo-Instruct-2407	GGUF Q8_0 (Unsloth)	13,5 GiB–14,2 GiB
gpt-oss-20b	MXFP4 safetensors	13,1 GiB–13,8 GiB
GLM-4-9B-0414	GGUF Q8_0 (Unsloth)	9,8 GiB–10,3 GiB
granite-3.3-8b-instruct	GGUF Q8_0 (IBM)	9,5 GiB–10,1 GiB
Qwen3-VL-8B-Instruct	GGUF Q8_0 (Qwen)	9,4 GiB–10,0 GiB
Qwen3-8B-Base	GGUF Q8_0 (mradermacher)	9,4 GiB–10,0 GiB
Qwen3-8B	GGUF Q8_0	9,4 GiB–10,0 GiB
Qwen2.5-Math-7B-Instruct	GGUF Q8_0 (bartowski)	8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8B	GGUF Q8_0 (Unsloth)	9,1 GiB–9,7 GiB
Gemma 3 12B IT	GGUF Q4_0 (Google QAT)	8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3	GGUF Q8_0 (bartowski)	8,3 GiB–8,9 GiB
Qwen2.5-Coder-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Qwen2.5-7B-Instruct	GGUF Q8_0	8,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7B	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
OpenMath-Nemotron-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-Instruct	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
Qwen2-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Phi-3.5-mini-instruct	GGUF Q8_0 (bartowski)	6,9 GiB–7,6 GiB
Llama 3.2 3B Instruct	Official BF16 safetensors	7,0 GiB–7,5 GiB
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen)	5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth)	5,2 GiB–5,8 GiB
Qwen3-4B	GGUF Q8_0	5,2 GiB–5,8 GiB
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth)	4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen)	3,8 GiB–4,2 GiB
Qwen2.5-3B-Instruct	GGUF Q8_0	3,8 GiB–4,2 GiB
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth)	3,5 GiB–3,9 GiB
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth)	3,3 GiB–3,8 GiB
Gemma 3 4B IT	GGUF Q4_0 (Google QAT)	3,3 GiB–3,8 GiB
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher)	2,7 GiB–3,2 GiB
Qwen3-1.7B	GGUF Q8_0	2,7 GiB–3,2 GiB
Llama 3.2 1B Instruct	Official BF16 safetensors	2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen3-0.6B	GGUF Q8_0 (Qwen)	1,6 GiB–2,0 GiB
Gemma 3 1B IT	GGUF Q4_0 (Google QAT)	1,1 GiB–1,5 GiB
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen)	0,8 GiB–1,2 GiB

Ajustado (7)

Modelo	Cuantización	Total
Qwen2.5-32B-Instruct	GGUF Q4_K_M	20,6 GiB–21,5 GiB
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen)	20,6 GiB–21,5 GiB
QwQ-32B	GGUF Q4_K_M (Qwen)	20,6 GiB–21,5 GiB
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth)	20,6 GiB–21,5 GiB
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth)	20,6 GiB–21,5 GiB
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher)	20,6 GiB–21,5 GiB
Qwen3-32B	GGUF Q4_K_M	20,5 GiB–21,4 GiB

No caben (28)

Drama 3 · Unofficial int4 W4A16 · 27 GiB
Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28,6 GiB
Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43,6 GiB
Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47,3 GiB
gpt-oss-120b · MXFP4 · 62,8 GiB
GLM-4.5-Air · Q4_K_M · 71,4 GiB
Qwen3.8-Flash-Next · Q4_K_M · 131,5 GiB
MiniMax-M2 · Q4_K_M · 134 GiB
Qwen3-235B-A22B · Q4_K_M · 137,1 GiB
Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137,1 GiB
Llama 3.3 70B Instruct · BF16 · 137,2 GiB
DeepSeek-V4-Flash-0731 · FP8 · 183,7 GiB
GLM-4.6 · Q4_K_M · 208,4 GiB
GLM-4.5 · Q4_K_M · 209,2 GiB
MiniMax-M3 · Q4_K_M · 249,7 GiB
GLM-5.3-Flash · Q8_0 · 373,6 GiB
DeepSeek-V3 · Q4_K_M · 443,1 GiB
DeepSeek-R1 · Q4_K_M · 443,1 GiB
DeepSeek-V3-0324 · Q4_K_M · 443,1 GiB
DeepSeek-R1-0528 · Q4_K_M · 443,7 GiB
DeepSeek-V3.1 · Q4_K_M · 444,2 GiB
Muse Spark Open · NVFP4 · 508,9 GiB
DeepSeek-V4.1-Flash · FP8 · 558,8 GiB
Ling-3.1-flash · FP8 · 628,3 GiB
Kimi-K2-Instruct · Q4_K_M · 679,5 GiB
Kimi-K2-Thinking · Q4_K_M · 680 GiB
GLM-5.3 · Q8_0 · 877 GiB

Comprobaciones concretas

Memoria

NVIDIAGeForce RTX 4090 Founders Edition / 24GB desktop
Tipo de memoriaVRAM discreta
Comercializado24 GB GDDR6X
Bruto24,00 GiB (25.769.803.776 bytes)
Reserva predeterminada2,00 GiB (2.147.483.648 bytes)
Presupuesto neto22,00 GiB (23.622.320.128 bytes)

La reserva es una suposición ajustable. En un equipo sin pantalla puedes bajarla en la calculadora.

Dos de estas tarjetas no suman una tarjeta más grande. Cada copia del modelo tiene que caber en una tarjeta, salvo que el motor lo reparta con paralelismo de tensores.

Medido en esta tarjeta

Qwen2.5-3B-Instruct Q4_K_M, 512 tokens, llama.cpp: 2,31 GiB de memoria de GPU en uso (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx512)
Qwen2.5-3B-Instruct Q4_K_M, 2048 tokens, llama.cpp: 2,37 GiB de memoria de GPU en uso (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx2048)
Qwen2.5-3B-Instruct Q4_K_M, 8192 tokens, llama.cpp: 2,59 GiB de memoria de GPU en uso (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx8192)

Abrir la calculadora con este hardware Página de combinación de Qwen2.5-7B

Páginas relacionadas

Fuentes

NVIDIA GeForce RTX 4090 product page — Standard Memory Config 24 GB GDDR6X

Calculadora

Cargando la instantánea del catálogo…

Tu GPU o Mac

Modelo

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones

Mostrar modelos históricos

Ejecución

Motor y tipo de caché KV de esta estimación.

Filtro de cuantización Permitir un sustituto si el filtro no tiene coincidencia

Off: GGUF, Q8 y otros filtros siguen siendo estrictos. On: se muestra un reemplazo con solicitado, usado y motivo.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto)

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Elige una GPU o un Mac para ver qué modelos caben, o un modelo para ver cuánta memoria necesita.