¿Cabe Qwen3-32B en H100?
Muy justo Qwen3-32B con BF16 necesita 69,65 GiB–71,76 GiB con un contexto de 32.768 tokens. La H100 tiene unos 78 GiB utilizables.
17 archivos, 65,5 GB en total.
Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos
Qué cambiar
- Acorta el contexto a unos 25.600 tokens para que quepa con holgura.
- Usa GGUF Q8_0 (Qwen): unos 42,1 GiB con el mismo contexto (Cabe con holgura).
- Cierra otras aplicaciones que usen memoria de GPU, o baja la reserva si el equipo funciona sin pantalla.
Otros archivos en esta GPU
| Cuantización | Tamaño del archivo | Motor | Total | Ajuste |
|---|---|---|---|---|
| BF16 safetensors Configuración actual | 65,5 GB | vllm | 69,6 GiB–71,8 GiB | Ajustado |
| GGUF Q8_0 (Qwen) | 34,8 GB | llama.cpp | 40,6 GiB–42,1 GiB | Cabe con holgura |
| GGUF Q6_K (Qwen) | 26,9 GB | llama.cpp | 33,2 GiB–34,6 GiB | Cabe con holgura |
| GGUF Q5_K_M (Qwen) | 23,2 GB | llama.cpp | 29,7 GiB–31,1 GiB | Cabe con holgura |
| GGUF Q4_K_M | 19,8 GB | llama.cpp | 26,5 GiB–27,8 GiB | Cabe con holgura |
Mismo contexto (32.768 tokens), un chat a la vez, cada archivo con su motor habitual.
Configuración usada
- ModeloQwen3-32B
- HardwareNVIDIA H100 80GB SXM
- CuantizaciónBF16 safetensors
- Longitud de contexto (tokens en caché)32.768
- Motor
vllm - Secuencias simultáneas1
- Tipo de caché KVfp16
Identificadores técnicos y datos para compartir
- Modelo
qwen3-32b - Hardware
nvidia-h100-80gb-sxm - Cuantización
bf16 - Código para compartir esta configuración
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLTMyYiIsImhhcmR3YXJlSWQiOiJudmlkaWEtaDEwMC04MGdiLXN4bSIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjozMjc2OCwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0
Cómo se calcula este número
Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.
- Pesos (archivo)
- 61,02 GiB (65.524.246.528 bytes)
- Caché KV
- 8,00 GiB (8.589.934.592 bytes)
- Búferes de ejecución
- 0,63 GiB–2,74 GiB
- Total
- 69,65 GiB–71,76 GiB
- Memoria utilizable
- 78,00 GiB
- Reserva de sistema / pantalla
- 2,00 GiB
- Sobrante
- 6,24 GiB–8,35 GiB
estimación alta 71,76 GiB con 78,00 GiB disponibles
Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.
- El contexto pedido cabe en la ventana nativa de 40960 tokens.
- Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
- Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
- El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
- Los bytes de pesos provienen de 17 fragmentos safetensors publicados que suman 65524246528 bytes.
- La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
- Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
- La precisión de la caché KV no depende de la cuantización de los pesos, salvo que la cambies.
Páginas relacionadas
Fuentes
- Qwen3-32B model card
- config.json — revision 9216db5781bf21249d130ec9da846c4624c16137
- safetensors index — metadata.total_size=65524246528
- Artifact repo Qwen/Qwen3-32B-GGUF
- NVIDIA H100 product page — H100 SXM GPU Memory 80GB
Calculadora
Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personaliza en la calculadora principal; el enlace conservará esa identidad.
Cargando la instantánea del catálogo…
Elige un modelo para ver cuánta memoria necesita.