¿Cabe Qwen2.5-32B-Instruct en DGX Spark?
Sí, con margen Qwen2.5-32B-Instruct con BF16 necesita 63,65 GiB–65,59 GiB con un contexto de 8192 tokens. La DGX Spark (GB10) tiene unos 112 GiB utilizables.
17 archivos, 65,5 GB en total.
Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos
Cuánto margen queda
- Cabe incluso con la ventana completa del modelo de 32.768 tokens.
Otros archivos en esta GPU
| Cuantización | Tamaño del archivo | Motor | Total | Ajuste |
|---|---|---|---|---|
| BF16 safetensors Configuración actual | 65,5 GB | vllm | 63,7 GiB–65,6 GiB | Cabe con holgura |
| GGUF Q8_0 (Qwen) | 34,8 GB | llama.cpp | 34,6 GiB–35,7 GiB | Cabe con holgura |
| GGUF Q6_K (Qwen) | 26,9 GB | llama.cpp | 27,2 GiB–28,2 GiB | Cabe con holgura |
| GGUF Q5_K_M (Qwen) | 23,3 GB | llama.cpp | 23,8 GiB–24,7 GiB | Cabe con holgura |
| GGUF Q4_K_M | 19,9 GB | llama.cpp | 20,6 GiB–21,5 GiB | Cabe con holgura |
Mismo contexto (8192 tokens), un chat a la vez, cada archivo con su motor habitual.
Configuración usada
- ModeloQwen2.5-32B-Instruct
- HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
- CuantizaciónBF16 safetensors
- Longitud de contexto (tokens en caché)8192
- Motor
vllm - Secuencias simultáneas1
- Tipo de caché KVfp16
Identificadores técnicos y datos para compartir
- Modelo
qwen2.5-32b-instruct - Hardware
nvidia-dgx-spark-128gb-unified - Cuantización
bf16 - Código para compartir esta configuración
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtMzJiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1kZ3gtc3BhcmstMTI4Z2ItdW5pZmllZCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJ2bGxtIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Cómo se calcula este número
Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.
- Pesos (archivo)
- 61,03 GiB (65.527.752.704 bytes)
- Caché KV
- 2,00 GiB (2.147.483.648 bytes)
- Búferes de ejecución
- 0,63 GiB–2,56 GiB
- Total
- 63,65 GiB–65,59 GiB
- Memoria utilizable
- 112,00 GiB
- Reserva de sistema / pantalla
- 16,00 GiB
- Sobrante
- 46,41 GiB–48,35 GiB
estimación alta 65,59 GiB con 112,00 GiB disponibles
La memoria unificada es un único bloque compartido. La RAM del sistema no se suma encima, y varios equipos no forman un solo bloque.
- El contexto pedido cabe en la ventana nativa de 32768 tokens.
- Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
- Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
- El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
- Los bytes de pesos provienen de 17 fragmentos safetensors publicados que suman 65527752704 bytes.
- La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
- Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
- La precisión de la caché KV no depende de la cuantización de los pesos, salvo que la cambies.
Páginas relacionadas
Fuentes
- Qwen2.5-32B-Instruct model card
- config.json — revision 5ede1c97bbab6ce5cda5812749b4c0bdf79b18dd
- safetensors index — metadata.total_size=65527752704
- Artifact repo Qwen/Qwen2.5-32B-Instruct-GGUF
- NVIDIA DGX Spark product page — 128 GB de memoria unificada que comparten CPU y GPU; no es VRAM dedicada. La reserva por defecto cubre el sistema y otros procesos. Varios Spark no juntan su memoria en un solo bloque.
- NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.
Calculadora
Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personaliza en la calculadora principal; el enlace conservará esa identidad.
Cargando la instantánea del catálogo…
Elige un modelo para ver cuánta memoria necesita.