DeepSeek-V4.1-Flash en DGX Spark (GB10): 128 GB unified, No cabe, Estimación aproximada

DeepSeek-V4.1-Flash en DGX Spark (GB10) (128 GB unified): No cabe. Estimación 476,18 GiB–549,77 GiB frente a 112,00 GiB netos (FP8 safetensors, 4096 tokens).

Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión. Configuración de esta página: FP8 safetensors, 4096 tokens en caché, 1 secuencia, motor vllm. Estado: Memoria insuficiente. Software: No verificado..

La calculadora genérica juzga el checkpoint canónico. Para esta combinación también hay 3 recetas de despliegue probadas por la comunidad.

Memoria insuficienteNo verificadoEste resultado es una estimación, no una traza medida.3 configuraciones conocidas

Configuraciones conocidas que funcionan

3 configuraciones conocidas

Recetas de despliegue probadas para este modelo en este hardware.

DeepSeek-V4.1-Flash

2× NVIDIA DGX Spark (GB10, 128 GB unified)

Medido por el mantenedor original

Cuantización:EXL3 2.9 bpw (mul1)(2.9 bpw)

Motor:vLLM· TP2

Descarga:Engram n-gram tables (shards 47+48) → NVME

Probado:

✓ generación
✓ 262,144 contexto
✓ llamada a herramientas
✓ visión
✓ decodificación especulativa

Medido:31.6 tok/s· 1 flujo

Despliegue probado. El texto está en inglés.

Usar esta configuración Inicio rápido (inglés)Fuente ↗

DeepSeek-V4.1-Flash

3× NVIDIA DGX Spark (GB10, 128 GB unified)

Medido por el mantenedor original

Cuantización:Native MXFP4 MoE + FP8 Dense

Motor:SGLang· TP3

Descarga:Engram n-gram tables (189 GiB) → NVME

Probado:

✓ generación
✓ ~208K Probado (256K cfg)
✓ llamada a herramientas
✓ visión
✓ decodificación especulativa

Medido:37.9 tok/s· 1 flujo

Despliegue probado. El texto está en inglés.

Usar esta configuración Inicio rápido (inglés)Fuente ↗

DeepSeek-V4.1-Flash

4× NVIDIA DGX Spark (GB10, 128 GB unified)

Medido por el mantenedor original

Cuantización:Native MXFP4 MoE + FP8 Dense (TP=4)

Motor:SGLang· TP4

Descarga:Engram n-gram tables (189 GiB) → NVME

Probado:

✓ generación
✓ 1,048,576 contexto
✓ llamada a herramientas
✓ visión
✓ decodificación especulativa

Medido:45.4 tok/s· 1 flujo

Despliegue probado. El texto está en inglés.

Usar esta configuración Inicio rápido (inglés)Fuente ↗

Configuración fija de la página

ModeloDeepSeek-V4.1-Flash
HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
CuantizaciónFP8 safetensors
Longitud de contexto (tokens en caché)4096
Motorvllm
Secuencias simultáneas1
Tipo de caché KVfp16

Identificadores técnicos y datos para compartir

Modelodeepseek-v4.1-flash
Hardwarenvidia-dgx-spark-128gb-unified
Cuantizaciónfp8
Fragmento para compartir esta identidadv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6ImRlZXBzZWVrLXY0LjEtZmxhc2giLCJoYXJkd2FyZUlkIjoibnZpZGlhLWRneC1zcGFyay0xMjhnYi11bmlmaWVkIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZnA4IiwiY29udGV4dFRva2VucyI6NDA5NiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0

Desglose de memoria

Weight artifact: 475,24 GiB (510.286.023.000 bytes)
Raw KV cache: 0,31 GiB (335.544.320 bytes)
Engine extras / workspace: 0,63 GiB–74,22 GiB
Total estimated demand: 476,18 GiB–549,77 GiB
Net calculator budget: 112,00 GiB
OS / display reserve: 16,00 GiB
Remaining vs net budget: -437,77 GiB–-364,18 GiB

estimación alta 549,77 GiB frente a 112,00 GiB netos

Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

Otros archivos publicados en este dispositivo

Mismo modelo, dispositivo y contexto (4096 tokens, 1 secuencia, KV en FP16). Cada fila es un conjunto de archivos de pesos publicado con su motor habitual, ordenado por memoria.

Cuantización	Motor	Memoria estimada	Ajuste
FP8 safetensors Esta página	`vllm`	476,18 GiB–549,77 GiB	No cabe · Estimación aproximada

Hipótesis que afectan al resultado

El contexto pedido cabe en la ventana nativa de 1048576 tokens.
La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
El recuento de parámetros activos es desconocido o no tiene una fuente independiente. Los parámetros activos describen el cómputo enrutado, no la huella residente completa.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Los bytes de pesos provienen de 48 fragmentos safetensors publicados que suman 510286023000 bytes.
Hay componente de visión. La inferencia de texto no incluye encoder ni projector.
Hay pesos MTP/draft; no entran salvo que se activen.

Abrir esta combinación en la calculadora Caché KV

Páginas relacionadas

Fuentes

DeepSeek-V4.1-Flash model card
config.json — revision dba1be0a40aa45a94ad051997016db3960a90277
safetensors index — metadata.total_size=510286023000
NVIDIA DGX Spark product page — 128 GB de memoria de sistema unificada y coherente. No es VRAM dedicada. La reserva predeterminada cubre el sistema y otros procesos. Varios Spark no forman un solo grupo.
NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.

Calculadora

Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personalice en la calculadora principal; el enlace conservará esa identidad.

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Modelo

Mostrar modelos históricos

Cuantización

Tipo de dispositivo

Hardware

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Longitud de contexto (tokens en caché)

Secuencias simultáneas

Ajustes avanzados

Ejecución

Motor y tipo de caché KV de esta estimación.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto) Permitir un sustituto si el filtro no tiene coincidencia

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.