VRAM necesaria para DeepSeek-V2-Lite-Chat

DeepSeek-V2-Lite-Chat necesita unos 12,2 GiB de memoria de GPU con Q4_K_M y un contexto de 8K. En una tarjeta de 12 GB como la RTX 4070 va justo; una de 16 GB como la RTX 4080 SUPER tiene sitio. Con un contexto de 32K necesita unos 13,2 GiB, que caben en una tarjeta de 16 GB.

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

VRAM por cuantización

CuantizaciónTamaño del archivoTotal con 8KTotal con 32K
BF16 safetensors31,4 GB30,1 GiB–36,8 GiB30,8 GiB–37,8 GiB
GGUF Q8_0 (mradermacher)16,7 GB15,9 GiB–19,2 GiB16,6 GiB–20,2 GiB
GGUF Q6_K (mradermacher)14,1 GB13,5 GiB–16,3 GiB14,2 GiB–17,3 GiB
GGUF Q5_K_M (mradermacher)11,9 GB11,4 GiB–13,9 GiB12,1 GiB–14,9 GiB
GGUF Q4_K_M (mradermacher)10,4 GB10,0 GiB–12,2 GiB10,7 GiB–13,2 GiB

Nombres como Q4_K_M y Q8_0 son niveles de cuantización: menos bits por peso dan un archivo más pequeño y algo menos de calidad. Los totales suman la caché KV (memoria que crece con la longitud del contexto) y los búferes de ejecución, con un chat a la vez. Archivos para descargar

Qué GPU pueden ejecutarlo

MemoriaUtilizableEjemplosCon 8KCon 32K
8 GB7,0 GiBRTX 4060, RTX 3060, RTX 5060 Ti +1 másNo cabeNo cabe
10 GB9,0 GiBRTX 3080No cabeNo cabe
12 GB11,0 GiBRTX 4070, RTX 3060, RTX 5070 +2 másAjustadoAjustado
16 GB14,0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT +5 másCabeAjustado
16 GB15,0 GiBRTX 4060 Ti, RTX 4070 Ti SUPERCabeCabe
20 GB18,0 GiBRX 7900 XTCabe con holguraCabe
24 GB22,0 GiBRTX 4090, RX 7900 XTX, RTX 3090Cabe con holguraCabe con holgura
32 GB30,0 GiBRTX 5090Cabe con holguraCabe con holgura
48 GB46,0 GiBL40SCabe con holguraCabe con holgura
80 GB78,0 GiBA100, H100Cabe con holguraCabe con holgura
64 GB · unificada54,0 GiBApple M2 MaxCabe con holguraCabe con holgura
128 GB · unificada96,0 GiBRyzen AI Max+ 395Cabe con holguraCabe con holgura
128 GB · unificada112,0 GiBDGX Spark (GB10)Cabe con holguraCabe con holgura
128 GB · unificada116,0 GiBApple M4 MaxCabe con holguraCabe con holgura

GGUF Q4_K_M (mradermacher), un chat a la vez. La memoria utilizable es el total menos una reserva por defecto para el sistema y la pantalla.

Comprobaciones concretas

Arquitectura

La fórmula KV estándar no encaja con este diseño de atención, así que la parte KV de la estimación es parcial. Todos los expertos se quedan en memoria, así que el tamaño de los pesos sigue el total de parámetros, no los activos.

Preguntas frecuentes

¿El tamaño de la descarga es la VRAM que usa?

No. El archivo Q4_K_M ocupa unos 9,7 GiB, pero con un contexto de 8K el total ronda 12,2 GiB, porque la caché KV y los búferes de ejecución se suman a los pesos.

¿Qué cuantización elijo?

Empieza con Q4_K_M (unos 12,2 GiB con 8K). Si tienes memoria, BF16 necesita unos 36,8 GiB y se queda más cerca de los pesos originales.

Archivos para descargar

CuantizaciónArchivosTamaño del archivoMotor
BF16 safetensorsmodel-00001-of-000004.safetensors, model-00002-of-000004.safetensors, model-00003-of-000004.safetensors, model-00004-of-000004.safetensors31,41 GB
31.412.968.448 bytes
vllm, sglang
GGUF Q8_0 (mradermacher)DeepSeek-V2-Lite-Chat.Q8_0.gguf16,70 GB
16.702.518.016 bytes
llama.cpp, ollama
GGUF Q6_K (mradermacher)DeepSeek-V2-Lite-Chat.Q6_K.gguf14,07 GB
14.066.972.416 bytes
llama.cpp, ollama
GGUF Q5_K_M (mradermacher)DeepSeek-V2-Lite-Chat.Q5_K_M.gguf11,85 GB
11.851.313.920 bytes
llama.cpp, ollama
GGUF Q4_K_M (mradermacher)DeepSeek-V2-Lite-Chat.Q4_K_M.gguf10,36 GB
10.364.416.768 bytes
llama.cpp, ollama
Cómo se calcula este número

Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.

GGUF Q4_K_M (mradermacher) · 8192 tokens · llama.cpp

Pesos (archivo)
9,65 GiB (10.364.416.768 bytes)
Caché KV
0,24 GiB (254.803.968 bytes)
Búferes de ejecución
0,13 GiB–2,34 GiB
Total
10,01 GiB–12,23 GiB
  • El contexto pedido cabe en la ventana nativa de 163840 tokens.
  • Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
  • Este MoE declara 15706484224 parámetros totales y 2400000000 activos. El cómputo activo no es la residencia de pesos.
  • Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
  • El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
  • Archivos contados: DeepSeek-V2-Lite-Chat.Q4_K_M.gguf.
  • La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
  • Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.

Cómo calculamos

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Calculadora

Cargando la instantánea del catálogo…

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones
Cuantización
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importa una config o escribe la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Elige un modelo para ver cuánta memoria necesita.