DeepSeek-V4-Flash-0731: requisitos de VRAM y memoria

Puntos de control concretos, con arquitectura y archivos de pesos con fuente. FP8 safetensors: 156,71 GiB–182,40 GiB a 8192 tokens, 1 secuencia, KV FP16, vllm.

Este resultado es una estimación, no una traza medida.No verificadoPesos con archivo1 configuraciones conocidas

Configuraciones conocidas que funcionan

1 configuraciones conocidas

Despliegues probados por la comunidad y los mantenedores en hardware real, con contexto, cuantización y runtime verificados.

DeepSeek-V4-Flash-0731

2× NVIDIA DGX Spark (GB10, 128 GB unified)

Medido por el mantenedor original

Cuantización:Official FP8 Safetensors

Motor:vLLM· TP2

Probado:

✓ generación
✓ 1,048,576 contexto
✓ llamada a herramientas
✓ visión
✓ decodificación especulativa

Medido:75.4 tok/s· 1 flujo

Despliegue probado. El texto está en inglés.

Usar esta configuración Inicio rápido (inglés)Fuente ↗

Dónde corre

Despliegue: DeepSeek-V4-Flash-0731

Editor y procedencia

ProveedorDeepSeek
Hugging Facedeepseek-ai/DeepSeek-V4-Flash-0731
Revision7872f01b1d1fe23eabc4c98b48bffcef5a386062
Parámetros totales304.180.418.494
Parámetros activosDesconocido / sin fuente independiente
Capas43
Cabezas de consulta64
Cabezas KV1 (mla)
Dimensión de cabeza512
Contexto documentado1.048.576
Integridadpartial · partial

El recuento de parámetros activos es desconocido o no tiene una fuente independiente. Los parámetros activos describen el cómputo enrutado, no la huella residente completa.

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact: 155,42 GiB (166.878.536.440 bytes)
Raw KV cache: 0,67 GiB (721.420.288 bytes)
Engine extras / workspace: 0,63 GiB–26,31 GiB
Total estimated demand: 156,71 GiB–182,40 GiB

Archivos contados

Cuantización	Archivos contados	Bytes	Motor	Evidencia
FP8 safetensors fp8 Calculadora: FP8 safetensors	48 fragmentos safetensors Bytes seleccionados en total: 166.878.536.440 (155,42 GiB / 166,88 GB) Primer fragmento: model-00001-of-00048.safetensors Último fragmento: model-00048-of-00048.safetensors Ver los 48 archivos de fragmentos `model-00001-of-00048.safetensors` `model-00002-of-00048.safetensors` `model-00003-of-00048.safetensors` `model-00004-of-00048.safetensors` `model-00005-of-00048.safetensors` `model-00006-of-00048.safetensors` `model-00007-of-00048.safetensors` `model-00008-of-00048.safetensors` `model-00009-of-00048.safetensors` `model-00010-of-00048.safetensors` `model-00011-of-00048.safetensors` `model-00012-of-00048.safetensors` `model-00013-of-00048.safetensors` `model-00014-of-00048.safetensors` `model-00015-of-00048.safetensors` `model-00016-of-00048.safetensors` `model-00017-of-00048.safetensors` `model-00018-of-00048.safetensors` `model-00019-of-00048.safetensors` `model-00020-of-00048.safetensors` `model-00021-of-00048.safetensors` `model-00022-of-00048.safetensors` `model-00023-of-00048.safetensors` `model-00024-of-00048.safetensors` `model-00025-of-00048.safetensors` `model-00026-of-00048.safetensors` `model-00027-of-00048.safetensors` `model-00028-of-00048.safetensors` `model-00029-of-00048.safetensors` `model-00030-of-00048.safetensors` `model-00031-of-00048.safetensors` `model-00032-of-00048.safetensors` `model-00033-of-00048.safetensors` `model-00034-of-00048.safetensors` `model-00035-of-00048.safetensors` `model-00036-of-00048.safetensors` `model-00037-of-00048.safetensors` `model-00038-of-00048.safetensors` `model-00039-of-00048.safetensors` `model-00040-of-00048.safetensors` `model-00041-of-00048.safetensors` `model-00042-of-00048.safetensors` `model-00043-of-00048.safetensors` `model-00044-of-00048.safetensors` `model-00045-of-00048.safetensors` `model-00046-of-00048.safetensors` `model-00047-of-00048.safetensors` `model-00048-of-00048.safetensors`	166.878.536.440 (155,42 GiB / 166,88 GB)	`vllm, sglang, unspecified`	`file-metadata`
INT4 theoretical	No hay archivo publicado	152.090.209.247 (Las filas teóricas no son artefactos descargables.)	—	theoretical

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Cuantización	2048 tokens	8192 tokens	32.768 tokens
FP8 safetensors	156,21 GiB–181,80 GiB	156,71 GiB–182,40 GiB	158,73 GiB–184,79 GiB
INT4 theoretical Las filas teóricas no son artefactos descargables.	141,94 GiB–183,21 GiB	142,44 GiB–183,84 GiB	144,46 GiB–186,32 GiB

Caché KV (datos brutos)

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

DeepSeek-V4-Flash-0731 model card
config.json — revision 7872f01b1d1fe23eabc4c98b48bffcef5a386062
safetensors index — metadata.total_size=166878536440
Artifact repo unsloth/DeepSeek-V4-Flash-0731-GGUF — DSpark drafter dspark-DeepSeek-V4-Flash-0731-Q8_0.gguf is not main weight and is not a catalog artifact. No measured main Q8_0 size is recorded from this repo.

Hipótesis que afectan al resultado

El contexto pedido cabe en la ventana nativa de 1048576 tokens.
La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
El recuento de parámetros activos es desconocido o no tiene una fuente independiente. Los parámetros activos describen el cómputo enrutado, no la huella residente completa.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Los bytes de pesos provienen de 48 fragmentos safetensors publicados que suman 166878536440 bytes.
Hay pesos MTP/draft; no entran salvo que se activen.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).

Calculadora

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Modelo

Mostrar modelos históricos

Cuantización

Tipo de dispositivo

Hardware

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados

Ejecución

Motor y tipo de caché KV de esta estimación.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto) Permitir un sustituto si el filtro no tiene coincidencia

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.