VRAM necesaria para Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct necesita unos 21,5 GiB de memoria de GPU con Q4_K_M y un contexto de 8K. En una tarjeta de 24 GB como la RTX 4090 va justo; una de 32 GB como la RTX 5090 tiene sitio. Con un contexto de 32K necesita unos 27,9 GiB, que caben en una tarjeta de 48 GB.

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

VRAM por cuantización

CuantizaciónTamaño del archivoTotal con 8KTotal con 32K
BF16 safetensors65,5 GB63,7 GiB–65,6 GiB69,7 GiB–71,8 GiB
GGUF Q8_0 (Qwen)34,8 GB34,6 GiB–35,7 GiB40,6 GiB–42,1 GiB
GGUF Q6_K (Qwen)26,9 GB27,2 GiB–28,2 GiB33,2 GiB–34,6 GiB
GGUF Q5_K_M (Qwen)23,3 GB23,8 GiB–24,7 GiB29,8 GiB–31,2 GiB
GGUF Q4_K_M19,9 GB20,6 GiB–21,5 GiB26,6 GiB–27,9 GiB

Nombres como Q4_K_M y Q8_0 son niveles de cuantización: menos bits por peso dan un archivo más pequeño y algo menos de calidad. Los totales suman la caché KV (memoria que crece con la longitud del contexto) y los búferes de ejecución, con un chat a la vez. Archivos para descargar

Qué GPU pueden ejecutarlo

MemoriaUtilizableEjemplosCon 8KCon 32K
8 GB7,0 GiBRTX 4060, RTX 3060, RTX 5060 Ti +1 másNo cabeNo cabe
10 GB9,0 GiBRTX 3080No cabeNo cabe
12 GB11,0 GiBRTX 4070, RTX 3060, RTX 5070 +2 másNo cabeNo cabe
16 GB14,0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT +5 másNo cabeNo cabe
16 GB15,0 GiBRTX 4060 Ti, RTX 4070 Ti SUPERNo cabeNo cabe
20 GB18,0 GiBRX 7900 XTNo cabeNo cabe
24 GB22,0 GiBRTX 4090, RX 7900 XTX, RTX 3090AjustadoNo cabe
32 GB30,0 GiBRTX 5090CabeAjustado
48 GB46,0 GiBL40SCabe con holguraCabe con holgura
80 GB78,0 GiBA100, H100Cabe con holguraCabe con holgura
64 GB · unificada54,0 GiBApple M2 MaxCabe con holguraCabe con holgura
128 GB · unificada96,0 GiBRyzen AI Max+ 395Cabe con holguraCabe con holgura
128 GB · unificada112,0 GiBDGX Spark (GB10)Cabe con holguraCabe con holgura
128 GB · unificada116,0 GiBApple M4 MaxCabe con holguraCabe con holgura

GGUF Q4_K_M, un chat a la vez. La memoria utilizable es el total menos una reserva por defecto para el sistema y la pantalla.

Comprobaciones concretas

Arquitectura

La caché KV crece con el contexto: en FP16 son unos 2 GiB con 8K y 8 GiB con 32K. El modelo tiene 8 cabezas KV para 40 cabezas de consulta (atención de consultas agrupadas), lo que mantiene pequeña esa caché.

Preguntas frecuentes

¿El tamaño de la descarga es la VRAM que usa?

No. El archivo Q4_K_M ocupa unos 18,5 GiB, pero con un contexto de 8K el total ronda 21,5 GiB, porque la caché KV y los búferes de ejecución se suman a los pesos.

¿Cuánta memoria añade un contexto más largo?

En Qwen2.5-32B-Instruct la caché KV ocupa unos 2 GiB con 8K tokens y 8 GiB con 32K en FP16. Los pesos no cambian de tamaño.

¿Qué cuantización elijo?

Empieza con Q4_K_M (unos 21,5 GiB con 8K). Si tienes memoria, BF16 necesita unos 65,6 GiB y se queda más cerca de los pesos originales.

Archivos para descargar

CuantizaciónArchivosTamaño del archivoMotor
BF16 safetensors
17 fragmentos safetensors
Primer fragmento: model-00001-of-00017.safetensors
Último fragmento: model-00017-of-00017.safetensors
Ver los 17 archivos de fragmentos
  • model-00001-of-00017.safetensors
  • model-00002-of-00017.safetensors
  • model-00003-of-00017.safetensors
  • model-00004-of-00017.safetensors
  • model-00005-of-00017.safetensors
  • model-00006-of-00017.safetensors
  • model-00007-of-00017.safetensors
  • model-00008-of-00017.safetensors
  • model-00009-of-00017.safetensors
  • model-00010-of-00017.safetensors
  • model-00011-of-00017.safetensors
  • model-00012-of-00017.safetensors
  • model-00013-of-00017.safetensors
  • model-00014-of-00017.safetensors
  • model-00015-of-00017.safetensors
  • model-00016-of-00017.safetensors
  • model-00017-of-00017.safetensors
65,53 GB
65.527.752.704 bytes
vllm, sglang
GGUF Q8_0 (Qwen)
9 fragmentos safetensors
Primer fragmento: qwen2.5-32b-instruct-q8_0-00001-of-00009.gguf
Último fragmento: qwen2.5-32b-instruct-q8_0-00009-of-00009.gguf
Ver los 9 archivos de fragmentos
  • qwen2.5-32b-instruct-q8_0-00001-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00002-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00003-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00004-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00005-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00006-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00007-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00008-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00009-of-00009.gguf
34,82 GB
34.820.885.632 bytes
llama.cpp, ollama
GGUF Q6_K (Qwen)
7 fragmentos safetensors
Primer fragmento: qwen2.5-32b-instruct-q6_k-00001-of-00007.gguf
Último fragmento: qwen2.5-32b-instruct-q6_k-00007-of-00007.gguf
Ver los 7 archivos de fragmentos
  • qwen2.5-32b-instruct-q6_k-00001-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00002-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00003-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00004-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00005-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00006-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00007-of-00007.gguf
26,89 GB
26.886.155.104 bytes
llama.cpp, ollama
GGUF Q5_K_M (Qwen)
6 fragmentos safetensors
Primer fragmento: qwen2.5-32b-instruct-q5_k_m-00001-of-00006.gguf
Último fragmento: qwen2.5-32b-instruct-q5_k_m-00006-of-00006.gguf
Ver los 6 archivos de fragmentos
  • qwen2.5-32b-instruct-q5_k_m-00001-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00002-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00003-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00004-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00005-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00006-of-00006.gguf
23,26 GB
23.262.157.568 bytes
llama.cpp, ollama
GGUF Q4_K_M
5 fragmentos safetensors
Primer fragmento: qwen2.5-32b-instruct-q4_k_m-00001-of-00005.gguf
Último fragmento: qwen2.5-32b-instruct-q4_k_m-00005-of-00005.gguf
Ver los 5 archivos de fragmentos
  • qwen2.5-32b-instruct-q4_k_m-00001-of-00005.gguf
  • qwen2.5-32b-instruct-q4_k_m-00002-of-00005.gguf
  • qwen2.5-32b-instruct-q4_k_m-00003-of-00005.gguf
  • qwen2.5-32b-instruct-q4_k_m-00004-of-00005.gguf
  • qwen2.5-32b-instruct-q4_k_m-00005-of-00005.gguf
19,85 GB
19.851.336.384 bytes
llama.cpp, ollama
Cómo se calcula este número

Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.

GGUF Q4_K_M · 8192 tokens · llama.cpp

Pesos (archivo)
18,49 GiB (19.851.336.384 bytes)
Caché KV
2,00 GiB (2.147.483.648 bytes)
Búferes de ejecución
0,13 GiB–1,01 GiB
Total
20,61 GiB–21,50 GiB
  • El contexto pedido cabe en la ventana nativa de 32768 tokens.
  • Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
  • Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
  • El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
  • Archivos contados: qwen2.5-32b-instruct-q4_k_m-00001-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00002-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00003-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00004-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00005-of-00005.gguf.
  • La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
  • Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
  • La precisión de la caché KV no depende de la cuantización de los pesos, salvo que la cambies.

Cómo calculamos

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Calculadora

Cargando la instantánea del catálogo…

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones
Cuantización
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importa una config o escribe la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Elige un modelo para ver cuánta memoria necesita.