¿Puede ejecutarse Qwen3-8B en GeForce RTX 4070 12GB (desktop, GDDR6X)?

Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión.

8B Q4 on 12GB with room for context.

Configuración de esta página: gguf-q4_k_m, 8192 tokens en caché, 1 secuencia, motor llama.cpp.

Estado: Es probable que quepa. Software: Soporte documentado.

Pesos 4,68 GiB · KV cruda 1,13 GiB · total 5,93 GiB–6,48 GiB.

Presupuesto disponible 11,00 GiB tras la reserva por defecto.

Esta página es una estimación salvo que haya una medición residente coincidente.

La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: Qwen3-8B-Q4_K_M.gguf.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
Se usan 8 cabezas KV, no 32 de consulta.

Evalúe un modelo y un dispositivo concretos, con condiciones.

ModeloHardwareCuantizaciónLongitud de contexto (tokens en caché)Secuencias simultáneas

Ajustes avanzados

Tipo de caché KVMotorDespliegueNúmero de dispositivosEscenario de sobrecoste en tiempo de ejecuciónReserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extraBits efectivos por parámetro (personalizado) Incluir un espacio de trabajo de prefill más pesadoUnidad de visualización

Estructura de modelo personalizada

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Estimación

Es probable que quepa

Con las hipótesis actuales, el máximo estimado queda por debajo del 90 % del presupuesto.

Rango estimado de memoria: 5,93 GiB – 6,48 GiB

Los pesos usan metadatos de los archivos elegidos. El extra de ejecución sigue siendo estimado.

Pesos4,68 GiB

Caché KV (datos brutos)1,13 GiB

Extras de KV (metadatos de cuantización, etc.)0,00 GiB

Activaciones / espacio de trabajo0,06 GiB

Reserva del motor0,06 GiB

Margen de seguridad0,00 GiB

Presupuesto disponible: 11,00 GiB · Restante tras la estimación: 4,52 GiB – 5,07 GiB

Compatibilidad de software

Soporte documentado. Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

Hipótesis que afectan al resultado

La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: Qwen3-8B-Q4_K_M.gguf.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.
Se usan 8 cabezas KV, no 32 de consulta.
El pico de prefill y la decodificación estable no coinciden. El escenario alto se acerca al prefill.
La reserva del motor no es el uso real de pesos y KV.
Los búferes de llama.cpp crecen con el contexto y el batch. Son escenarios ajustables, no mediciones, salvo que haya una calibración coincidente.
La RAM del host no se añade sola a la VRAM discreta.

Método de cálculo