Cabe con holgura: VRAM necesaria 21,20 GiB para Qwen3.8-27B en DGX Spark (GB10) — Estimación aproximada

Cabe con holgura. VRAM necesaria 17,61 GiB–21,20 GiB en DGX Spark (GB10) (128 GB LPDDR5x coherent unified system memory) frente a 112,00 GiB netos. GGUF UD-Q4_K_M (Unsloth), 32.768 tokens. Estimación aproximada 128 GB LPDDR5x coherent unified system memory no es VRAM discreta.

Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión. Configuración de esta página: GGUF UD-Q4_K_M (Unsloth), 32.768 tokens en caché, 1 secuencia, motor llama.cpp. Estado: Es probable que quepa. Software: No verificado..

Es probable que quepaNo verificadoEste resultado es una estimación, no una traza medida.

Configuración fija de la página

ModeloQwen3.8-27B
HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
CuantizaciónGGUF UD-Q4_K_M (Unsloth)
Longitud de contexto (tokens en caché)32.768
Motorllama.cpp
Secuencias simultáneas1
Tipo de caché KVfp16

Identificadores técnicos y datos para compartir

Modeloqwen3.8-27b
Hardwarenvidia-dgx-spark-128gb-unified
Cuantizacióngguf-ud-q4_k_m
Fragmento para compartir esta identidadv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLjgtMjdiIiwiaGFyZHdhcmVJZCI6Im52aWRpYS1kZ3gtc3BhcmstMTI4Z2ItdW5pZmllZCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtdWQtcTRfa19tIiwiY29udGV4dFRva2VucyI6MzI3NjgsImNvbmN1cnJlbnRTZXF1ZW5jZXMiOjEsImVuZ2luZSI6ImxsYW1hLmNwcCIsImt2VHlwZSI6ImZwMTYifX0

Desglose de memoria

Weight artifact: 15,33 GiB (16.464.440.224 bytes)
Raw KV cache: 2,00 GiB (2.147.483.648 bytes)
Engine extras / workspace: 0,27 GiB–3,87 GiB
Total estimated demand: 17,61 GiB–21,20 GiB
Net calculator budget: 112,00 GiB
OS / display reserve: 16,00 GiB
Remaining vs net budget: 90,80 GiB–94,39 GiB

estimación alta 21,20 GiB frente a 112,00 GiB netos

Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

Otros archivos publicados en este dispositivo

Mismo modelo, dispositivo y contexto (32.768 tokens, 1 secuencia, KV en FP16). Cada fila es un conjunto de archivos de pesos publicado con su motor habitual, ordenado por memoria.

Mostrar los 28 archivos publicados

Cuantización	Motor	Memoria estimada	Ajuste
BF16 safetensors	`vllm`	54,52 GiB–64,93 GiB	Cabe con holgura · Estimación aproximada
GGUF BF16 (Unsloth)	`llama.cpp`	53,18 GiB–62,93 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q8_K_XL (Unsloth)	`llama.cpp`	31,57 GiB–37,58 GiB	Cabe con holgura · Estimación aproximada
GGUF Q8_0 (Unsloth)	`llama.cpp`	29,33 GiB–34,95 GiB	Cabe con holgura · Estimación aproximada
GGUF Q8_0 (mradermacher)	`llama.cpp`	29,33 GiB–34,95 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q6_K_XL (Unsloth)	`llama.cpp`	25,83 GiB–30,86 GiB	Cabe con holgura · Estimación aproximada
GGUF Q6_K (mradermacher)	`llama.cpp`	23,16 GiB–27,72 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q5_K_M (Unsloth)	`llama.cpp`	20,69 GiB–24,82 GiB	Cabe con holgura · Estimación aproximada
GGUF Q5_K_M (mradermacher)	`llama.cpp`	20,47 GiB–24,56 GiB	Cabe con holgura · Estimación aproximada
GGUF Q5_K_S (mradermacher)	`llama.cpp`	19,94 GiB–23,94 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q4_K_XL (Unsloth)	`llama.cpp`	18,63 GiB–22,40 GiB	Cabe con holgura · Estimación aproximada
GGUF Q4_1 (Unsloth)	`llama.cpp`	18,61 GiB–22,38 GiB	Cabe con holgura · Estimación aproximada
GGUF Q4_K_M (mradermacher)	`llama.cpp`	17,93 GiB–21,58 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q4_K_M (Unsloth) Esta página	`llama.cpp`	17,61 GiB–21,20 GiB	Cabe con holgura · Estimación aproximada
GGUF Q4_0 (Unsloth)	`llama.cpp`	17,23 GiB–20,76 GiB	Cabe con holgura · Estimación aproximada
GGUF Q4_K_S (mradermacher)	`llama.cpp`	17,01 GiB–20,51 GiB	Cabe con holgura · Estimación aproximada
GGUF IQ4_XS (mradermacher)	`llama.cpp`	16,63 GiB–20,06 GiB	Cabe con holgura · Estimación aproximada
GGUF Q3_K_L (mradermacher)	`llama.cpp`	15,83 GiB–19,12 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ4_XS (Unsloth)	`llama.cpp`	15,55 GiB–18,79 GiB	Cabe con holgura · Estimación aproximada
GGUF Q3_K_M (mradermacher)	`llama.cpp`	14,85 GiB–17,97 GiB	Cabe con holgura · Estimación aproximada
GGUF Q3_K_S (mradermacher)	`llama.cpp`	13,69 GiB–16,61 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ3_S (Unsloth)	`llama.cpp`	13,49 GiB–16,37 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ3_XXS (Unsloth)	`llama.cpp`	12,46 GiB–15,16 GiB	Cabe con holgura · Estimación aproximada
GGUF Q2_K (mradermacher)	`llama.cpp`	12,39 GiB–15,09 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ2_S (Unsloth)	`llama.cpp`	10,07 GiB–12,36 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ2_XXS (Unsloth)	`llama.cpp`	9,04 GiB–11,16 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ1_M (Unsloth)	`llama.cpp`	8,54 GiB–10,57 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ1_S (Unsloth)	`llama.cpp`	8,04 GiB–9,98 GiB	Cabe con holgura · Estimación aproximada

Hipótesis que afectan al resultado

El contexto pedido cabe en la ventana nativa de 262144 tokens.
La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: Qwen3.8-27B-UD-Q4_K_M.gguf.
Hay componente de visión. La inferencia de texto no incluye encoder ni projector.
Hay pesos MTP/draft; no entran salvo que se activen.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).

Abrir esta combinación en la calculadora Caché KV

Páginas relacionadas

Fuentes

Qwen3.8-27B model card
config.json — revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0
safetensors index — metadata.total_size=55562855904
Artifact repo unsloth/Qwen3.8-27B-GGUF
Artifact repo mradermacher/Qwen3.8-27B-GGUF
NVIDIA DGX Spark product page — 128 GB de memoria de sistema unificada y coherente. No es VRAM dedicada. La reserva predeterminada cubre el sistema y otros procesos. Varios Spark no forman un solo grupo.
NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.

Calculadora

Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personalice en la calculadora principal; el enlace conservará esa identidad.

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Modelo

Mostrar modelos históricos

Cuantización

Tipo de dispositivo

Hardware

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados

Ejecución

Motor y tipo de caché KV de esta estimación.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto) Permitir un sustituto si el filtro no tiene coincidencia

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.