Qwen2.5-32B-Instruct

Qwen · Qwen/Qwen2.5-32B-Instruct · gqa · full

Cuantización2048819232.768
BF16 safetensors61,59 GiB–62,15 GiB63,09 GiB–63,65 GiB69,09 GiB–69,65 GiB
GGUF Q4_K_M19,05 GiB–19,61 GiB20,55 GiB–21,11 GiB26,55 GiB–27,11 GiB
INT4 theoretical15,70 GiB–17,77 GiB17,20 GiB–19,27 GiB23,20 GiB–25,27 GiB

Elija modelo y ajustes para ver la demanda de memoria.

Ajustes avanzados

GiB (2^30 bytes)

Estructura de modelo personalizada

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Estimación

Desconocido

Falta presupuesto o datos clave, o el modo de despliegue no se puede juzgar en esta versión.

Rango estimado de memoria: 20,61 GiB – 21,50 GiB

Los pesos usan metadatos de los archivos elegidos. El extra de ejecución sigue siendo estimado.

Pesos18,49 GiB
Caché KV (datos brutos)2,00 GiB
Extras de KV (metadatos de cuantización, etc.)0,00 GiB
Activaciones / espacio de trabajo0,06 GiB
Reserva del motor0,06 GiB
Margen de seguridad0,00 GiB

Compatibilidad de software

Soporte documentado. Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

Hipótesis que afectan al resultado

  • La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
  • Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
  • El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
  • Archivos contados: qwen2.5-32b-instruct-q4_k_m-00001-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00002-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00003-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00004-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00005-of-00005.gguf.
  • El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
  • Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
  • El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
  • Se usan 8 cabezas KV, no 40 de consulta.
  • El pico de prefill y la decodificación estable no coinciden. El escenario alto se acerca al prefill.
  • La reserva del motor no es el uso real de pesos y KV.
  • Los búferes de llama.cpp crecen con el contexto y el batch. Son escenarios ajustables, no mediciones, salvo que haya una calibración coincidente.

Método de cálculo

Recalcular con estos cambios