VRAM necesaria para Qwen2.5-14B-Instruct

Qwen2.5-14B-Instruct necesita unos 10,6 GiB de memoria de GPU con Q4_K_M y un contexto de 8K. En una tarjeta de 12 GB como la RTX 4070 va justo; una de 16 GB como la RTX 4080 SUPER tiene sitio. Con un contexto de 32K necesita unos 15,5 GiB, que caben en una tarjeta de 20 GB.

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

VRAM por cuantización

CuantizaciónTamaño del archivoTotal con 8KTotal con 32K
BF16 safetensors29,5 GB29,6 GiB–31,6 GiB34,1 GiB–36,2 GiB
GGUF Q8_015,7 GB16,2 GiB–17,0 GiB20,7 GiB–21,8 GiB
GGUF Q6_K (Qwen)12,1 GB12,9 GiB–13,6 GiB17,4 GiB–18,4 GiB
GGUF Q5_K_M (Qwen)10,5 GB11,4 GiB–12,1 GiB15,9 GiB–16,9 GiB
GGUF Q4_K_M9,0 GB10,0 GiB–10,6 GiB14,5 GiB–15,5 GiB

Nombres como Q4_K_M y Q8_0 son niveles de cuantización: menos bits por peso dan un archivo más pequeño y algo menos de calidad. Los totales suman la caché KV (memoria que crece con la longitud del contexto) y los búferes de ejecución, con un chat a la vez. Archivos para descargar

Qué GPU pueden ejecutarlo

MemoriaUtilizableEjemplosCon 8KCon 32K
8 GB7,0 GiBRTX 4060, RTX 3060, RTX 5060 Ti +1 másNo cabeNo cabe
10 GB9,0 GiBRTX 3080No cabeNo cabe
12 GB11,0 GiBRTX 4070, RTX 3060, RTX 5070 +2 másAjustadoNo cabe
16 GB14,0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT +5 másCabeNo cabe
16 GB15,0 GiBRTX 4060 Ti, RTX 4070 Ti SUPERCabeAjustado
20 GB18,0 GiBRX 7900 XTCabe con holguraCabe
24 GB22,0 GiBRTX 4090, RX 7900 XTX, RTX 3090Cabe con holguraCabe
32 GB30,0 GiBRTX 5090Cabe con holguraCabe con holgura
48 GB46,0 GiBL40SCabe con holguraCabe con holgura
80 GB78,0 GiBA100, H100Cabe con holguraCabe con holgura
64 GB · unificada54,0 GiBApple M2 MaxCabe con holguraCabe con holgura
128 GB · unificada96,0 GiBRyzen AI Max+ 395Cabe con holguraCabe con holgura
128 GB · unificada112,0 GiBDGX Spark (GB10)Cabe con holguraCabe con holgura
128 GB · unificada116,0 GiBApple M4 MaxCabe con holguraCabe con holgura

GGUF Q4_K_M, un chat a la vez. La memoria utilizable es el total menos una reserva por defecto para el sistema y la pantalla.

Comprobaciones concretas

Arquitectura

La caché KV crece con el contexto: en FP16 son unos 1,5 GiB con 8K y 6 GiB con 32K. El modelo tiene 8 cabezas KV para 40 cabezas de consulta (atención de consultas agrupadas), lo que mantiene pequeña esa caché.

Preguntas frecuentes

¿El tamaño de la descarga es la VRAM que usa?

No. El archivo Q4_K_M ocupa unos 8,4 GiB, pero con un contexto de 8K el total ronda 10,6 GiB, porque la caché KV y los búferes de ejecución se suman a los pesos.

¿Cuánta memoria añade un contexto más largo?

En Qwen2.5-14B-Instruct la caché KV ocupa unos 1,5 GiB con 8K tokens y 6 GiB con 32K en FP16. Los pesos no cambian de tamaño.

¿Qué cuantización elijo?

Empieza con Q4_K_M (unos 10,6 GiB con 8K). Si tienes memoria, BF16 necesita unos 31,6 GiB y se queda más cerca de los pesos originales.

Archivos para descargar

CuantizaciónArchivosTamaño del archivoMotor
BF16 safetensors
8 fragmentos safetensors
Primer fragmento: model-00001-of-00008.safetensors
Último fragmento: model-00008-of-00008.safetensors
Ver los 8 archivos de fragmentos
  • model-00001-of-00008.safetensors
  • model-00002-of-00008.safetensors
  • model-00003-of-00008.safetensors
  • model-00004-of-00008.safetensors
  • model-00005-of-00008.safetensors
  • model-00006-of-00008.safetensors
  • model-00007-of-00008.safetensors
  • model-00008-of-00008.safetensors
29,54 GB
29.540.067.328 bytes
vllm, sglang
GGUF Q8_0qwen2.5-14b-instruct-q8_0-00001-of-00004.gguf, qwen2.5-14b-instruct-q8_0-00002-of-00004.gguf, qwen2.5-14b-instruct-q8_0-00003-of-00004.gguf, qwen2.5-14b-instruct-q8_0-00004-of-00004.gguf15,70 GB
15.701.597.984 bytes
llama.cpp, ollama
GGUF Q6_K (Qwen)qwen2.5-14b-instruct-q6_k-00001-of-00004.gguf, qwen2.5-14b-instruct-q6_k-00002-of-00004.gguf, qwen2.5-14b-instruct-q6_k-00003-of-00004.gguf, qwen2.5-14b-instruct-q6_k-00004-of-00004.gguf12,12 GB
12.124.684.064 bytes
llama.cpp, ollama
GGUF Q5_K_M (Qwen)qwen2.5-14b-instruct-q5_k_m-00001-of-00003.gguf, qwen2.5-14b-instruct-q5_k_m-00002-of-00003.gguf, qwen2.5-14b-instruct-q5_k_m-00003-of-00003.gguf10,51 GB
10.508.873.376 bytes
llama.cpp, ollama
GGUF Q4_K_Mqwen2.5-14b-instruct-q4_k_m-00001-of-00003.gguf, qwen2.5-14b-instruct-q4_k_m-00002-of-00003.gguf, qwen2.5-14b-instruct-q4_k_m-00003-of-00003.gguf8,99 GB
8.988.110.496 bytes
llama.cpp, ollama
Cómo se calcula este número

Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.

GGUF Q4_K_M · 8192 tokens · llama.cpp

Pesos (archivo)
8,37 GiB (8.988.110.496 bytes)
Caché KV
1,50 GiB (1.610.612.736 bytes)
Búferes de ejecución
0,13 GiB–0,77 GiB
Total
10,00 GiB–10,64 GiB
  • El contexto pedido cabe en la ventana nativa de 32768 tokens.
  • Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
  • Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
  • El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
  • Archivos contados: qwen2.5-14b-instruct-q4_k_m-00001-of-00003.gguf, qwen2.5-14b-instruct-q4_k_m-00002-of-00003.gguf, qwen2.5-14b-instruct-q4_k_m-00003-of-00003.gguf.
  • La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
  • Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
  • La precisión de la caché KV no depende de la cuantización de los pesos, salvo que la cambies.

Cómo calculamos

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Calculadora

Cargando la instantánea del catálogo…

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones
Cuantización
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importa una config o escribe la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Elige un modelo para ver cuánta memoria necesita.