¿Puede ejecutarse Qwen2.5-3B-Instruct en GeForce RTX 4090 24GB (desktop)?

Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión.

3B Q4_K_M on RTX 4090 with a matching llama.cpp runtime-resident trace at 8192 tokens.

Configuración de esta página: gguf-q4_k_m, 8192 tokens en caché, 1 secuencia, motor llama.cpp.

Estado: Es probable que quepa. Software: Soporte documentado.

Pesos 1,96 GiB · KV cruda 0,28 GiB · total 2,37 GiB–2,80 GiB.

Presupuesto disponible 22,00 GiB tras la reserva por defecto.

Medición residente rt-qwen2.5-3b-instruct-q4km-4090-ctx8192: GPU del proceso 2,59 GiB el 2026-09-19T15:43:43Z (llama.cpp version: 0.4.1-dev (build 1, commit 1af554f)). La estimación por fórmula se muestra aparte.

La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: qwen2.5-3b-instruct-q4_k_m.gguf.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
Se usan 2 cabezas KV, no 16 de consulta.

Evalúe un modelo y un dispositivo concretos, con condiciones.

ModeloHardwareCuantizaciónLongitud de contexto (tokens en caché)Secuencias simultáneas

Ajustes avanzados

Tipo de caché KVMotorDespliegueNúmero de dispositivosEscenario de sobrecoste en tiempo de ejecuciónReserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extraBits efectivos por parámetro (personalizado) Incluir un espacio de trabajo de prefill más pesadoUnidad de visualización

Estructura de modelo personalizada

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Estimación

Es probable que quepa

Con las hipótesis actuales, el máximo estimado queda por debajo del 90 % del presupuesto.

Rango estimado de memoria: 2,37 GiB – 2,80 GiB

Hay una medición residente para un entorno coincidente.

Pesos1,96 GiB

Caché KV (datos brutos)0,28 GiB

Extras de KV (metadatos de cuantización, etc.)0,00 GiB

Activaciones / espacio de trabajo0,06 GiB

Reserva del motor0,06 GiB

Margen de seguridad0,00 GiB

Presupuesto disponible: 22,00 GiB · Restante tras la estimación: 19,20 GiB – 19,63 GiB

Compatibilidad de software

Soporte documentado. Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

Hay una medición residente para un entorno coincidente. Memoria GPU medida del proceso: 2,59 GiB · llama.cpp version: 0.4.1-dev (build 1, commit 1af554f) · 2026-09-19T15:43:43Z

Hipótesis que afectan al resultado

La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: qwen2.5-3b-instruct-q4_k_m.gguf.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
Se usan 2 cabezas KV, no 16 de consulta.
El pico de prefill y la decodificación estable no coinciden. El escenario alto se acerca al prefill.
La reserva del motor no es el uso real de pesos y KV.
Los búferes de llama.cpp crecen con el contexto y el batch. Son escenarios ajustables, no mediciones, salvo que haya una calibración coincidente.
La RAM del host no se añade sola a la VRAM discreta.

Método de cálculo