VRAM necesaria para Qwen2.5-72B-Instruct

Qwen2.5-72B-Instruct necesita unos 45 GiB de memoria de GPU con Q4_K_M y un contexto de 8K. En una tarjeta de 48 GB como la L40S va justo; una de 80 GB como la A100 tiene sitio. Con un contexto de 32K necesita unos 53 GiB, que caben en una tarjeta de 80 GB.

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

VRAM por cuantización

CuantizaciónTamaño del archivoTotal con 8KTotal con 32K
BF16 safetensors145,4 GB138,6 GiB–140,5 GiB146,1 GiB–148,2 GiB
GGUF Q8_0 (Qwen)77,5 GB74,8 GiB–76,8 GiB82,3 GiB–84,8 GiB
GGUF Q6_K (Qwen)59,9 GB58,4 GiB–60,0 GiB65,9 GiB–68,1 GiB
GGUF Q5_K_M (Qwen)51,7 GB50,8 GiB–52,3 GiB58,3 GiB–60,3 GiB
GGUF Q4_K_M44,0 GB43,6 GiB–45,0 GiB51,1 GiB–53,0 GiB

Nombres como Q4_K_M y Q8_0 son niveles de cuantización: menos bits por peso dan un archivo más pequeño y algo menos de calidad. Los totales suman la caché KV (memoria que crece con la longitud del contexto) y los búferes de ejecución, con un chat a la vez. Archivos para descargar

Qué GPU pueden ejecutarlo

MemoriaUtilizableEjemplosCon 8KCon 32K
8 GB7,0 GiBRTX 4060, RTX 3060, RTX 5060 Ti +1 másNo cabeNo cabe
10 GB9,0 GiBRTX 3080No cabeNo cabe
12 GB11,0 GiBRTX 4070, RTX 3060, RTX 5070 +2 másNo cabeNo cabe
16 GB14,0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT +5 másNo cabeNo cabe
16 GB15,0 GiBRTX 4060 Ti, RTX 4070 Ti SUPERNo cabeNo cabe
20 GB18,0 GiBRX 7900 XTNo cabeNo cabe
24 GB22,0 GiBRTX 4090, RX 7900 XTX, RTX 3090No cabeNo cabe
32 GB30,0 GiBRTX 5090No cabeNo cabe
48 GB46,0 GiBL40SAjustadoNo cabe
80 GB78,0 GiBA100, H100Cabe con holguraCabe con holgura
64 GB · unificada54,0 GiBApple M2 MaxCabeAjustado
128 GB · unificada96,0 GiBRyzen AI Max+ 395Cabe con holguraCabe con holgura
128 GB · unificada112,0 GiBDGX Spark (GB10)Cabe con holguraCabe con holgura
128 GB · unificada116,0 GiBApple M4 MaxCabe con holguraCabe con holgura

GGUF Q4_K_M, un chat a la vez. La memoria utilizable es el total menos una reserva por defecto para el sistema y la pantalla.

Comprobaciones concretas

Arquitectura

La caché KV crece con el contexto: en FP16 son unos 2,5 GiB con 8K y 10 GiB con 32K. El modelo tiene 8 cabezas KV para 64 cabezas de consulta (atención de consultas agrupadas), lo que mantiene pequeña esa caché.

Preguntas frecuentes

¿El tamaño de la descarga es la VRAM que usa?

No. El archivo Q4_K_M ocupa unos 41 GiB, pero con un contexto de 8K el total ronda 45 GiB, porque la caché KV y los búferes de ejecución se suman a los pesos.

¿Cuánta memoria añade un contexto más largo?

En Qwen2.5-72B-Instruct la caché KV ocupa unos 2,5 GiB con 8K tokens y 10 GiB con 32K en FP16. Los pesos no cambian de tamaño.

¿Qué cuantización elijo?

Empieza con Q4_K_M (unos 45 GiB con 8K). Si tienes memoria, BF16 necesita unos 140,5 GiB y se queda más cerca de los pesos originales.

Archivos para descargar

CuantizaciónArchivosTamaño del archivoMotor
BF16 safetensors
37 fragmentos safetensors
Primer fragmento: model-00001-of-00037.safetensors
Último fragmento: model-00037-of-00037.safetensors
Ver los 37 archivos de fragmentos
  • model-00001-of-00037.safetensors
  • model-00002-of-00037.safetensors
  • model-00003-of-00037.safetensors
  • model-00004-of-00037.safetensors
  • model-00005-of-00037.safetensors
  • model-00006-of-00037.safetensors
  • model-00007-of-00037.safetensors
  • model-00008-of-00037.safetensors
  • model-00009-of-00037.safetensors
  • model-00010-of-00037.safetensors
  • model-00011-of-00037.safetensors
  • model-00012-of-00037.safetensors
  • model-00013-of-00037.safetensors
  • model-00014-of-00037.safetensors
  • model-00015-of-00037.safetensors
  • model-00016-of-00037.safetensors
  • model-00017-of-00037.safetensors
  • model-00018-of-00037.safetensors
  • model-00019-of-00037.safetensors
  • model-00020-of-00037.safetensors
  • model-00021-of-00037.safetensors
  • model-00022-of-00037.safetensors
  • model-00023-of-00037.safetensors
  • model-00024-of-00037.safetensors
  • model-00025-of-00037.safetensors
  • model-00026-of-00037.safetensors
  • model-00027-of-00037.safetensors
  • model-00028-of-00037.safetensors
  • model-00029-of-00037.safetensors
  • model-00030-of-00037.safetensors
  • model-00031-of-00037.safetensors
  • model-00032-of-00037.safetensors
  • model-00033-of-00037.safetensors
  • model-00034-of-00037.safetensors
  • model-00035-of-00037.safetensors
  • model-00036-of-00037.safetensors
  • model-00037-of-00037.safetensors
145,41 GB
145.412.407.296 bytes
vllm, sglang
GGUF Q8_0 (Qwen)
21 fragmentos safetensors
Primer fragmento: qwen2.5-72b-instruct-q8_0-00001-of-00021.gguf
Último fragmento: qwen2.5-72b-instruct-q8_0-00021-of-00021.gguf
Ver los 21 archivos de fragmentos
  • qwen2.5-72b-instruct-q8_0-00001-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00002-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00003-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00004-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00005-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00006-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00007-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00008-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00009-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00010-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00011-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00012-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00013-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00014-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00015-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00016-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00017-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00018-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00019-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00020-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00021-of-00021.gguf
77,53 GB
77.530.000.800 bytes
llama.cpp, ollama
GGUF Q6_K (Qwen)
16 fragmentos safetensors
Primer fragmento: qwen2.5-72b-instruct-q6_k-00001-of-00016.gguf
Último fragmento: qwen2.5-72b-instruct-q6_k-00016-of-00016.gguf
Ver los 16 archivos de fragmentos
  • qwen2.5-72b-instruct-q6_k-00001-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00002-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00003-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00004-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00005-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00006-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00007-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00008-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00009-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00010-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00011-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00012-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00013-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00014-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00015-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00016-of-00016.gguf
59,86 GB
59.861.035.808 bytes
llama.cpp, ollama
GGUF Q5_K_M (Qwen)
14 fragmentos safetensors
Primer fragmento: qwen2.5-72b-instruct-q5_k_m-00001-of-00014.gguf
Último fragmento: qwen2.5-72b-instruct-q5_k_m-00014-of-00014.gguf
Ver los 14 archivos de fragmentos
  • qwen2.5-72b-instruct-q5_k_m-00001-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00002-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00003-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00004-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00005-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00006-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00007-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00008-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00009-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00010-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00011-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00012-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00013-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00014-of-00014.gguf
51,67 GB
51.673.983.488 bytes
llama.cpp, ollama
GGUF Q4_K_M
12 fragmentos safetensors
Primer fragmento: qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf
Último fragmento: qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf
Ver los 12 archivos de fragmentos
  • qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00002-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00003-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00004-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00005-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00006-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00007-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00008-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00009-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00010-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00011-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf
44,01 GB
44.010.465.472 bytes
llama.cpp, ollama
Cómo se calcula este número

Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.

GGUF Q4_K_M · 8192 tokens · llama.cpp

Pesos (archivo)
40,99 GiB (44.010.465.472 bytes)
Caché KV
2,50 GiB (2.684.354.560 bytes)
Búferes de ejecución
0,13 GiB–1,49 GiB
Total
43,61 GiB–44,98 GiB
  • El contexto pedido cabe en la ventana nativa de 32768 tokens.
  • Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
  • Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
  • El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
  • Los bytes de pesos provienen de 12 fragmentos safetensors publicados que suman 44010465472 bytes.
  • La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
  • Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
  • La precisión de la caché KV no depende de la cuantización de los pesos, salvo que la cambies.

Cómo calculamos

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Calculadora

Cargando la instantánea del catálogo…

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones
Cuantización
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importa una config o escribe la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Elige un modelo para ver cuánta memoria necesita.