GeForce RTX 4060 8GB (desktop)

Estimación

Es probable que quepa

Con las hipótesis actuales, el máximo estimado queda por debajo del 90 % del presupuesto.

Rango estimado de memoria: 4,92 GiB – 5,42 GiB

Los pesos usan metadatos de los archivos elegidos. El extra de ejecución sigue siendo estimado.

Presupuesto disponible: 7,00 GiB · Restante tras la estimación: 1,58 GiB – 2,08 GiB

Compatibilidad de software

Soporte documentado. Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

Hipótesis que afectan al resultado

• La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
• Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
• El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
• Archivos contados: qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf.
• El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
• Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
• El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
• Se usan 4 cabezas KV, no 28 de consulta.
• El pico de prefill y la decodificación estable no coinciden. El escenario alto se acerca al prefill.
• La reserva del motor no es el uso real de pesos y KV.
• Los búferes de llama.cpp crecen con el contexto y el batch. Son escenarios ajustables, no mediciones, salvo que haya una calibración coincidente.
• La RAM del host no se añade sola a la VRAM discreta.

Método de cálculo