Qué LLM locales caben en RTX 3080 (10 GB GDDR6X)

La RTX 3080 tiene 10 GB GDDR6X. Tras reservar 1 GiB para el sistema y la pantalla, quedan unos 9 GiB para un modelo. Con un contexto de 8K, el modelo más grande de nuestra lista que cabe es GLM-4-9B-0414 con Q5_K_M (unos 7,5 GiB). Mistral-Nemo-Instruct-2407 con Q4_K_M va justo (unos 8,3 GiB–8,9 GiB).

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

Qué modelos caben con 8K

Cada modelo usa el archivo de mayor precisión que cabe, con un chat a la vez.

Cabe (34)

ModeloCuantizaciónTotal
Qwen3-VL-8B-InstructGGUF Q6_K (Unsloth)7,5 GiB–8,1 GiB
Qwen3-8B-BaseGGUF Q6_K (mradermacher)7,5 GiB–8,1 GiB
Qwen3-8BGGUF Q6_K (Qwen)7,5 GiB–8,1 GiB
Qwen2.5-Math-7B-InstructGGUF Q6_K (bartowski)6,4 GiB–7,9 GiB
DeepSeek-R1-Distill-Llama-8BGGUF Q6_K (Unsloth)7,3 GiB–7,8 GiB
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)6,9 GiB–7,6 GiB
Llama 3.2 3B InstructOfficial BF16 safetensors7,0 GiB–7,5 GiB
GLM-4-9B-0414GGUF Q5_K_M (Unsloth)7,0 GiB–7,5 GiB
granite-3.3-8b-instructGGUF Q5_K_M (IBM)6,8 GiB–7,3 GiB
Mistral-7B-Instruct-v0.3GGUF Q6_K (bartowski)6,7 GiB–7,2 GiB
Qwen2.5-Coder-7BGGUF Q6_K (mradermacher)6,4 GiB–6,9 GiB
Qwen2.5-Coder-7B-InstructGGUF Q6_K (Qwen)6,4 GiB–6,9 GiB
Qwen2.5-7B-InstructGGUF Q6_K (Qwen)6,4 GiB–6,9 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q6_K (Unsloth)6,4 GiB–6,9 GiB
OpenMath-Nemotron-7BGGUF Q6_K (mradermacher)6,4 GiB–6,9 GiB
Qwen2.5-VL-7B-InstructGGUF Q6_K (Unsloth)6,4 GiB–6,9 GiB
Qwen2-7B-InstructGGUF Q6_K (Qwen)6,4 GiB–6,9 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5,2 GiB–5,8 GiB
Qwen3-4BGGUF Q8_05,2 GiB–5,8 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3,8 GiB–4,2 GiB
Qwen2.5-3B-InstructGGUF Q8_03,8 GiB–4,2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3,5 GiB–3,9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3,3 GiB–3,8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3,3 GiB–3,8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2,7 GiB–3,2 GiB
Qwen3-1.7BGGUF Q8_02,7 GiB–3,2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1,6 GiB–2,0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1,1 GiB–1,5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0,8 GiB–1,2 GiB

Ajustado (2)

ModeloCuantizaciónTotal
Gemma 3 12B ITGGUF Q4_0 (Google QAT)8,5 GiB–9,0 GiB
Mistral-Nemo-Instruct-2407GGUF Q4_K_M (Unsloth)8,3 GiB–8,9 GiB
No caben (50)

Memoria

La reserva es una suposición ajustable. En un equipo sin pantalla puedes bajarla en la calculadora.

Dos de estas tarjetas no suman una tarjeta más grande. Cada copia del modelo tiene que caber en una tarjeta, salvo que el motor lo reparta con paralelismo de tensores.

Abrir la calculadora con este hardwareCalculadora

Páginas relacionadas

Fuentes

Calculadora

Cargando la instantánea del catálogo…

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones
Ejecución

Motor y tipo de caché KV de esta estimación.

Off: GGUF, Q8 y otros filtros siguen siendo estrictos. On: se muestra un reemplazo con solicitado, usado y motivo.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Elige una GPU o un Mac para ver qué modelos caben, o un modelo para ver cuánta memoria necesita.