VRAM necesaria para Qwen3-30B-A3B
Qwen3-30B-A3B necesita unos 18,9 GiB de memoria de GPU con Q4_K_M y un contexto de 8K. Basta con una GPU de 24 GB como la RTX 4090. Con un contexto de 32K necesita unos 21,3 GiB, que caben en una tarjeta de 32 GB.
Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos
VRAM por cuantización
| Cuantización | Tamaño del archivo | Total con 8K | Total con 32K |
|---|---|---|---|
| BF16 safetensors | 61,1 GB | 58,2 GiB–60,1 GiB | 60,5 GiB–62,5 GiB |
| GGUF Q8_0 | 32,5 GB | 31,1 GiB–32,2 GiB | 33,4 GiB–34,6 GiB |
| GGUF Q6_K (Qwen) | 25,1 GB | 24,2 GiB–25,1 GiB | 26,5 GiB–27,5 GiB |
| GGUF Q5_K_M (Qwen) | 21,7 GB | 21,1 GiB–21,9 GiB | 23,4 GiB–24,3 GiB |
| GGUF Q4_K_M | 18,6 GB | 18,2 GiB–18,9 GiB | 20,4 GiB–21,3 GiB |
Nombres como Q4_K_M y Q8_0 son niveles de cuantización: menos bits por peso dan un archivo más pequeño y algo menos de calidad. Los totales suman la caché KV (memoria que crece con la longitud del contexto) y los búferes de ejecución, con un chat a la vez. Archivos para descargar
Qué GPU pueden ejecutarlo
| Memoria | Utilizable | Ejemplos | Con 8K | Con 32K |
|---|---|---|---|---|
| 8 GB | 7,0 GiB | RTX 4060, RTX 3060, RTX 5060 Ti +1 más | No cabe | No cabe |
| 10 GB | 9,0 GiB | RTX 3080 | No cabe | No cabe |
| 12 GB | 11,0 GiB | RTX 4070, RTX 3060, RTX 5070 +2 más | No cabe | No cabe |
| 16 GB | 14,0 GiB | RTX 4080 SUPER, RTX 5080, RX 7800 XT +5 más | No cabe | No cabe |
| 16 GB | 15,0 GiB | RTX 4060 Ti, RTX 4070 Ti SUPER | No cabe | No cabe |
| 20 GB | 18,0 GiB | RX 7900 XT | No cabe | No cabe |
| 24 GB | 22,0 GiB | RTX 4090, RX 7900 XTX, RTX 3090 | Cabe | Ajustado |
| 32 GB | 30,0 GiB | RTX 5090 | Cabe con holgura | Cabe |
| 48 GB | 46,0 GiB | L40S | Cabe con holgura | Cabe con holgura |
| 80 GB | 78,0 GiB | A100, H100 | Cabe con holgura | Cabe con holgura |
| 64 GB · unificada | 54,0 GiB | Apple M2 Max | Cabe con holgura | Cabe con holgura |
| 128 GB · unificada | 96,0 GiB | Ryzen AI Max+ 395 | Cabe con holgura | Cabe con holgura |
| 128 GB · unificada | 112,0 GiB | DGX Spark (GB10) | Cabe con holgura | Cabe con holgura |
| 128 GB · unificada | 116,0 GiB | Apple M4 Max | Cabe con holgura | Cabe con holgura |
GGUF Q4_K_M, un chat a la vez. La memoria utilizable es el total menos una reserva por defecto para el sistema y la pantalla.
Comprobaciones concretas
- ¿Puede Qwen3-30B-A3B ejecutarse en RTX 4090?
- ¿Puede Qwen3-30B-A3B ejecutarse en RTX 3090?
- ¿Puede Qwen3-30B-A3B ejecutarse en RTX 5090?
- ¿Puede Qwen3-30B-A3B ejecutarse en RTX 4060 Ti?
- ¿Puede Qwen3-30B-A3B ejecutarse en RTX 4070 Ti SUPER?
- ¿Puede Qwen3-30B-A3B ejecutarse en RTX 5080?
- ¿Puede Qwen3-30B-A3B ejecutarse en RTX 4080 SUPER?
Arquitectura
- ProveedorQwen
- Hugging Face
Qwen/Qwen3-30B-A3B - Parámetros totales30.532.122.624
- Parámetros activos3.300.000.000
- Capas48
- Cabezas de consulta32
- Cabezas KV4 (gqa)
- Dimensión de cabeza128
- Ventana de contexto40.960
La caché KV crece con el contexto: en FP16 son unos 0,8 GiB con 8K y 3 GiB con 32K. El modelo tiene 4 cabezas KV para 32 cabezas de consulta (atención de consultas agrupadas), lo que mantiene pequeña esa caché. Todos los expertos se quedan en memoria, así que el tamaño de los pesos sigue el total de parámetros, no los activos.
Preguntas frecuentes
¿El tamaño de la descarga es la VRAM que usa?
No. El archivo Q4_K_M ocupa unos 17,3 GiB, pero con un contexto de 8K el total ronda 18,9 GiB, porque la caché KV y los búferes de ejecución se suman a los pesos.
¿Cuánta memoria añade un contexto más largo?
En Qwen3-30B-A3B la caché KV ocupa unos 0,8 GiB con 8K tokens y 3 GiB con 32K en FP16. Los pesos no cambian de tamaño.
¿Qué cuantización elijo?
Empieza con Q4_K_M (unos 18,9 GiB con 8K). Si tienes memoria, BF16 necesita unos 60,1 GiB y se queda más cerca de los pesos originales.
Archivos para descargar
| Cuantización | Archivos | Tamaño del archivo | Motor |
|---|---|---|---|
| BF16 safetensors | 61,06 GB 61.064.245.248 bytes | vllm, sglang | |
| GGUF Q8_0 | Qwen3-30B-A3B-Q8_0.gguf | 32,48 GB 32.483.931.648 bytes | llama.cpp, ollama |
| GGUF Q6_K (Qwen) | Qwen3-30B-A3B-Q6_K.gguf | 25,09 GB 25.092.531.712 bytes | llama.cpp, ollama |
| GGUF Q5_K_M (Qwen) | Qwen3-30B-A3B-Q5_K_M.gguf | 21,73 GB 21.725.580.800 bytes | llama.cpp, ollama |
| GGUF Q4_K_M | Qwen3-30B-A3B-Q4_K_M.gguf | 18,56 GB 18.556.685.824 bytes | llama.cpp, ollama |
Cómo se calcula este número
Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.
GGUF Q4_K_M · 8192 tokens · llama.cpp
- Pesos (archivo)
- 17,28 GiB (18.556.685.824 bytes)
- Caché KV
- 0,75 GiB (805.306.368 bytes)
- Búferes de ejecución
- 0,13 GiB–0,90 GiB
- Total
- 18,16 GiB–18,93 GiB
- El contexto pedido cabe en la ventana nativa de 40960 tokens.
- Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
- Este MoE declara 30532122624 parámetros totales y 3300000000 activos. El cómputo activo no es la residencia de pesos.
- Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
- El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
- Archivos contados: Qwen3-30B-A3B-Q4_K_M.gguf.
- La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
- Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
Páginas relacionadas
Fuentes
- Qwen3-30B-A3B model card
- config.json — revision ad44e777bcd18fa416d9da3bd8f70d33ebb85d39
- safetensors index — metadata.total_size=61064245248
- Artifact repo Qwen/Qwen3-30B-A3B-GGUF
Calculadora
Cargando la instantánea del catálogo…
Elige un modelo para ver cuánta memoria necesita.