Qwen2.5-14B-Instruct
Qwen · Qwen/Qwen2.5-14B-Instruct · gqa · full
| Cuantización | 2048 | 8192 | 32.768 |
|---|---|---|---|
| BF16 safetensors | 27,95 GiB–28,51 GiB | 29,07 GiB–29,64 GiB | 33,57 GiB–34,14 GiB |
| GGUF Q8_0 | 15,06 GiB–15,62 GiB | 16,19 GiB–16,75 GiB | 20,69 GiB–21,25 GiB |
| GGUF Q4_K_M | 8,81 GiB–9,37 GiB | 9,93 GiB–10,50 GiB | 14,43 GiB–15,00 GiB |
| INT4 theoretical | 7,28 GiB–8,53 GiB | 8,41 GiB–9,65 GiB | 12,91 GiB–14,15 GiB |
Estimación
Desconocido
Falta presupuesto o datos clave, o el modo de despliegue no se puede juzgar en esta versión.
Rango estimado de memoria: 10,00 GiB – 10,64 GiB
Los pesos usan metadatos de los archivos elegidos. El extra de ejecución sigue siendo estimado.
Compatibilidad de software
Soporte documentado. Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.
Hipótesis que afectan al resultado
- La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
- Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
- El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
- Archivos contados: qwen2.5-14b-instruct-q4_k_m-00001-of-00003.gguf, qwen2.5-14b-instruct-q4_k_m-00002-of-00003.gguf, qwen2.5-14b-instruct-q4_k_m-00003-of-00003.gguf.
- El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
- Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
- El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
- Se usan 8 cabezas KV, no 40 de consulta.
- El pico de prefill y la decodificación estable no coinciden. El escenario alto se acerca al prefill.
- La reserva del motor no es el uso real de pesos y KV.
- Los búferes de llama.cpp crecen con el contexto y el batch. Son escenarios ajustables, no mediciones, salvo que haya una calibración coincidente.