¿Puede ejecutarse Qwen2.5-7B-Instruct en GeForce RTX 4090 24GB (desktop)?

Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión.

Same 7B model in BF16 on 24GB shows the quantization gap.

Configuración de esta página: bf16, 8192 tokens en caché, 1 secuencia, motor vllm.

Estado: Es probable que quepa. Software: Soporte documentado.

Pesos 14,19 GiB · KV cruda 0,44 GiB · total 15,25 GiB–17,14 GiB.

Presupuesto disponible 22,00 GiB tras la reserva por defecto.

Esta página es una estimación salvo que haya una medición residente coincidente.

La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: model.safetensors.index.json metadata.total_size.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
Se usan 4 cabezas KV, no 28 de consulta.

Evalúe un modelo y un dispositivo concretos, con condiciones.

ModeloHardwareCuantizaciónLongitud de contexto (tokens en caché)Secuencias simultáneas

Ajustes avanzados

Tipo de caché KVMotorDespliegueNúmero de dispositivosEscenario de sobrecoste en tiempo de ejecuciónReserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extraBits efectivos por parámetro (personalizado) Incluir un espacio de trabajo de prefill más pesadoUnidad de visualización

Estructura de modelo personalizada

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Estimación

Es probable que quepa

Con las hipótesis actuales, el máximo estimado queda por debajo del 90 % del presupuesto.

Rango estimado de memoria: 15,25 GiB – 17,14 GiB

Los pesos usan metadatos de los archivos elegidos. El extra de ejecución sigue siendo estimado.

Pesos14,19 GiB

Caché KV (datos brutos)0,44 GiB

Extras de KV (metadatos de cuantización, etc.)0,00 GiB

Activaciones / espacio de trabajo0,13 GiB

Reserva del motor0,50 GiB

Margen de seguridad0,00 GiB

Presupuesto disponible: 22,00 GiB · Restante tras la estimación: 4,86 GiB – 6,75 GiB

Compatibilidad de software

Soporte documentado. Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

Hipótesis que afectan al resultado

La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: model.safetensors.index.json metadata.total_size.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
Se usan 4 cabezas KV, no 28 de consulta.
El pico de prefill y la decodificación estable no coinciden. El escenario alto se acerca al prefill.
La reserva del motor no es el uso real de pesos y KV.
vLLM suele preasignar KV de la GPU restante. Aquí se informa la KV necesaria más extras de CUDA/grafos, no el resto que se queda el asignador.
La alineación de bloques de PagedAttention puede sumar un poco sobre la KV cruda.
La RAM del host no se añade sola a la VRAM discreta.

Método de cálculo