GeForce RTX 4080 16GB (desktop): qué LLM locales caben en la VRAM

16 GB GDDR6X es VRAM discreta: 17.179.869.184 bytes (16,00 GiB). La reserva de sistema predeterminada es 2.147.483.648 bytes (2,00 GiB) y el neto es 15.032.385.536 bytes (14,00 GiB).

GeForce RTX 4080 16GB (desktop): 16,00 GiB brutos, reserva predeterminada 2,00 GiB, presupuesto neto de la calculadora 14,00 GiB. Esta página responde la capacidad anunciada. La conversión a bytes sigue la suposición del catálogo para esta SKU.

Este resultado es una estimación, no una traza medida.VRAM discreta

Modelos para este dispositivo

Bruto, reserva y presupuesto neto

NVIDIAGeForce RTX 4080 16GB desktop · desktop-gpu
Tipo de memoriadiscrete-vram
Comercializado16 GB GDDR6X
Bruto17.179.869.184 bytes = 16,00 GiB
Reserva predeterminada2.147.483.648 bytes = 2,00 GiB
Presupuesto neto15.032.385.536 bytes = 14,00 GiB

La reserva es una suposición configurable de la calculadora, no un impuesto de escritorio medido. Los sistemas sin pantalla pueden bajarla tras medir el uso base de la placa.

Ajuste del catálogo a 8.192 tokens

Cada fila es la misma elección automática de la calculadora a 8.192 tokens: la mayor precisión de al menos 3 bits por peso que cabe. Un archivo por debajo de ese suelo sigue disponible para elegirlo a mano y no es la fila automática. Secuencias concurrentes = 1, KV FP16. Caber y el soporte de software son cosas distintas. La compatibilidad de formato no es una ejecución verificada.

Es probable que quepa (43)

Modelo	Cuantización	Estimación	Ajuste	Compatibilidad de software	Evidencia
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	0,85 GiB–1,24 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens	1,10 GiB–1,50 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-0.6B	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	1,60 GiB–2,04 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	2,11 GiB–2,53 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	2,11 GiB–2,53 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Llama 3.2 1B Instruct	Official BF16 safetensors bf16 · 8192 tokens	2,68 GiB–3,12 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-1.7B	GGUF Q8_0 gguf-q8_0 · 8192 tokens	2,71 GiB–3,18 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens	2,71 GiB–3,18 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens	3,33 GiB–3,79 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	3,32 GiB–3,83 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	3,47 GiB–3,92 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-3B-Instruct	GGUF Q8_0 gguf-q8_0 · 8192 tokens	3,77 GiB–4,24 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	3,77 GiB–4,24 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	4,93 GiB–5,45 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-4B	GGUF Q8_0 gguf-q8_0 · 8192 tokens	5,24 GiB–5,77 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	5,24 GiB–5,77 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	5,24 GiB–5,77 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Llama 3.2 3B Instruct	Official BF16 safetensors bf16 · 8192 tokens	6,98 GiB–7,54 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Phi-3.5-mini-instruct	GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens	6,91 GiB–7,57 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2-7B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-VL-7B-Instruct	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
OpenMath-Nemotron-7B	GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-R1-Distill-Qwen-7B	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-7B-Instruct	GGUF Q8_0 gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-Coder-7B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-Coder-7B	GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Mistral-7B-Instruct-v0.3	GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens	8,30 GiB–8,89 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Gemma 3 12B IT	GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens	8,46 GiB–9,04 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-R1-Distill-Llama-8B	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	9,08 GiB–9,68 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-Math-7B-Instruct	GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens	8,10 GiB–9,96 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-8B	GGUF Q8_0 gguf-q8_0 · 8192 tokens	9,36 GiB–9,98 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-8B-Base	GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens	9,36 GiB–9,98 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-VL-8B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	9,36 GiB–9,98 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
granite-3.3-8b-instruct	GGUF Q8_0 (IBM) gguf-q8_0 · 8192 tokens	9,46 GiB–10,09 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
GLM-4-9B-0414	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	9,75 GiB–10,33 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Mistral-Nemo-Instruct-2407	GGUF Q6_K (Unsloth) gguf-q6_k · 8192 tokens	10,74 GiB–11,39 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-14B	GGUF Q5_K_M (Qwen) gguf-q5_k_m · 8192 tokens	11,17 GiB–11,83 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
phi-4	GGUF Q5_K_M (Unsloth) gguf-q5_k_m · 8192 tokens	11,39 GiB–12,06 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
OpenMath-Nemotron-14B	GGUF Q5_K_M (mradermacher) gguf-q5_k_m · 8192 tokens	11,41 GiB–12,09 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-Coder-14B-Instruct	GGUF Q5_K_M (Qwen) gguf-q5_k_m · 8192 tokens	11,41 GiB–12,09 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-14B-Instruct	GGUF Q5_K_M (Qwen) gguf-q5_k_m · 8192 tokens	11,41 GiB–12,09 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-V2-Lite-Chat	GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens	10,01 GiB–12,23 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.
Phi-4-reasoning	GGUF Q5_K_M (Unsloth) gguf-q5_k_m · 8192 tokens	11,56 GiB–12,25 GiB	Es probable que quepa	No verificado	Este resultado es una estimación, no una traza medida.

Justo (2)

Modelo	Cuantización	Estimación	Ajuste	Compatibilidad de software	Evidencia
Qwen3.8-27B	GGUF UD-IQ3_XXS (Unsloth) gguf-ud-iq3_xxs · 8192 tokens	10,96 GiB–13,32 GiB	Justo	No verificado	Este resultado es una estimación, no una traza medida.
gpt-oss-20b	MXFP4 safetensors mxfp4 · 8192 tokens	13,13 GiB–13,78 GiB	Justo	No verificado	Este resultado es una estimación, no una traza medida.

Memoria insuficiente (41)

Modelo	Cuantización	Estimación	Ajuste	Compatibilidad de software	Evidencia
Mistral-Small-24B-Instruct-2501	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	14,72 GiB–15,45 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Llama 3.1 8B Instruct	Official BF16 safetensors bf16 · 8192 tokens	16,08 GiB–16,83 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Gemma 3 27B IT	GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens	17,20 GiB–17,97 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-30B-A3B	GGUF Q4_K_M gguf-q4_k_m · 8192 tokens	18,16 GiB–18,93 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	18,16 GiB–18,93 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	18,16 GiB–18,93 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-32B	GGUF Q4_K_M gguf-q4_k_m · 8192 tokens	20,53 GiB–21,41 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
QwQ-32B	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-32B-Instruct	GGUF Q4_K_M gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Drama 3	Unofficial int4 W4A16 (GPTQ-Marlin, with codec) int4-w4a16-community · 8192 tokens	22,67 GiB–27,03 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Mixtral-8x7B-Instruct-v0.1	GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens	27,62 GiB–28,59 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Llama-3.1-Nemotron-70B-Instruct-HF	GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens	42,23 GiB–43,57 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen2.5-72B-Instruct	GGUF Q4_K_M gguf-q4_k_m · 8192 tokens	43,61 GiB–44,98 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-Next-80B-A3B-Instruct	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	45,96 GiB–47,29 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
gpt-oss-120b	MXFP4 safetensors mxfp4 · 8192 tokens	61,18 GiB–62,79 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
GLM-4.5-Air	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	69,53 GiB–71,36 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3.8-Flash-Next	GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens	111,75 GiB–131,53 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
MiniMax-M2	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	130,90 GiB–133,99 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-235B-A22B	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	133,99 GiB–137,11 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Qwen3-235B-A22B-Instruct-2507	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	133,99 GiB–137,11 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Llama 3.3 70B Instruct	Official BF16 safetensors bf16 · 8192 tokens	134,04 GiB–137,22 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-V4-Flash-0731	FP8 safetensors fp8 · 8192 tokens	156,21 GiB–183,71 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
GLM-4.6	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	203,78 GiB–208,37 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
GLM-4.5	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	204,59 GiB–209,20 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
MiniMax-M3	GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens	244,40 GiB–249,71 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
GLM-5.3-Flash	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	318,04 GiB–373,58 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-V3	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	377,32 GiB–443,15 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-R1	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	377,32 GiB–443,15 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-V3-0324	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	377,32 GiB–443,15 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-R1-0528	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	377,79 GiB–443,71 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-V3.1	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	378,22 GiB–444,21 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Muse Spark Open	Official NVFP4 safetensors nvfp4 · 8192 tokens	498,47 GiB–508,91 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
DeepSeek-V4.1-Flash	FP8 safetensors fp8 · 8192 tokens	475,99 GiB–558,80 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Ling-3.1-flash	Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) fp8 · 8192 tokens	535,11 GiB–628,26 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Kimi-K2-Instruct	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	578,81 GiB–679,50 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
Kimi-K2-Thinking	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	579,24 GiB–680,01 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.
GLM-5.3	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	747,13 GiB–876,98 GiB	Memoria insuficiente	No verificado	Este resultado es una estimación, no una traza medida.

Evidencia medida y planificada en esta SKU

Esta página es una estimación salvo que haya una medición residente coincidente.

Abrir la calculadora empezando por este hardware Calculadora

Páginas relacionadas

Fuentes

NVIDIA GeForce RTX 4080 Family specs — RTX 4080 Standard Memory Config 16 GB GDDR6X; Memory Interface Width 256-bit; Total Graphics Power 320 W

Calculadora

Cargando la instantánea del catálogo…

Elige primero una GPU o una máquina de memoria unificada y cuántas.

Tipo de dispositivo

Hardware

Modelo

Mostrar modelos históricos

Elija una GPU o memoria unificada. Los candidatos aparecen al instante.

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados

Ejecución

Motor y tipo de caché KV de esta estimación.

Filtro de cuantización Permitir un sustituto si el filtro no tiene coincidencia

Off: GGUF, Q8 y otros filtros siguen siendo estrictos. On: se muestra un reemplazo con solicitado, usado y motivo.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto)

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Dispositivo y carga

Elija una GPU o memoria unificada. Los candidatos aparecen al instante.

La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.

Elija un dispositivo para listar candidatos. No hace falta un modelo antes.