DeepSeek-R1-0528: requisitos de VRAM y memoria
Puntos de control concretos, con arquitectura y archivos de pesos con fuente. GGUF Q4_K_M (Unsloth): 377,79 GiB–443,71 GiB a 8192 tokens, 1 secuencia, KV FP16, llama.cpp.
Editor y procedencia
- ProveedorDeepSeek
- Hugging Face
deepseek-ai/DeepSeek-R1-0528 - Revision
4236a6af538feda4548eca9ab308586007567f52 - Parámetros totales684.531.386.000
- Parámetros activos37.000.000.000
- Capas61
- Cabezas de consulta128
- Cabezas KV128 (mla)
- Dimensión de cabeza56
- Contexto documentado163.840
- Integridadpartial · partial
Este MoE declara 684.531.386.000 parámetros totales y 37.000.000.000 activos. El cómputo activo no es la residencia de pesos. La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Capas de memoria de esta estimación
Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.
- Weight artifact
- 377,13 GiB (404.941.900.832 bytes)
- Raw KV cache
- 0,54 GiB (575.668.224 bytes)
- Engine extras / workspace
- 0,13 GiB–66,04 GiB
- Total estimated demand
- 377,79 GiB–443,71 GiB
Archivos contados
| Cuantización | Archivos contados | Bytes | Motor | Evidencia |
|---|---|---|---|---|
| FP8 safetensors fp8 | 1.369.062.772.000 (1275,04 GiB / 1369,06 GB) | vllm, sglang, unspecified | file-metadata | |
| GGUF Q4_K_M (Unsloth) gguf-q4_k_m | 404.941.900.832 (377,13 GiB / 404,94 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q5_K_M (Unsloth) gguf-q5_k_m | 475.780.344.992 (443,10 GiB / 475,78 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q6_K (Unsloth) gguf-q6_k | 551.046.192.128 (513,20 GiB / 551,05 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q8_0 (Unsloth) gguf-q8_0 | 713.286.522.336 (664,30 GiB / 713,29 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| INT4 theoretical | No hay archivo publicado | 342.265.693.000 (Las filas teóricas no son artefactos descargables.) | — | theoretical |
Memoria por cuantización y contexto
Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.
| Cuantización | 2048 tokens | 8192 tokens | 32.768 tokens |
|---|---|---|---|
| FP8 safetensors | 1275,80 GiB–1469,35 GiB | 1276,20 GiB–1469,90 GiB | 1277,81 GiB–1472,09 GiB |
| GGUF Q4_K_M (Unsloth) | 377,39 GiB–443,13 GiB | 377,79 GiB–443,71 GiB | 379,40 GiB–445,98 GiB |
| GGUF Q5_K_M (Unsloth) | 443,36 GiB–520,52 GiB | 443,77 GiB–521,10 GiB | 445,37 GiB–523,37 GiB |
| GGUF Q6_K (Unsloth) | 513,46 GiB–602,74 GiB | 513,86 GiB–603,32 GiB | 515,47 GiB–605,60 GiB |
| GGUF Q8_0 (Unsloth) | 664,56 GiB–779,98 GiB | 664,96 GiB–780,56 GiB | 666,57 GiB–782,83 GiB |
| INT4 theoretical Las filas teóricas no son artefactos descargables. | 319,02 GiB–411,32 GiB | 319,42 GiB–411,90 GiB | 321,03 GiB–414,17 GiB |
Caché KV (datos brutos)
Páginas relacionadas
Fuentes
- DeepSeek-R1-0528 model card
- config.json — revision 4236a6af538feda4548eca9ab308586007567f52
- safetensors index — metadata.total_size=1369062772000
- Artifact repo unsloth/DeepSeek-R1-0528-GGUF
Hipótesis que afectan al resultado
- El contexto pedido cabe en la ventana nativa de 163840 tokens.
- La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
- Este MoE declara 684531386000 parámetros totales y 37000000000 activos. El cómputo activo no es la residencia de pesos.
- Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
- El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
- Los bytes de pesos provienen de 9 fragmentos safetensors publicados que suman 404941900832 bytes.
- Hay pesos MTP/draft; no entran salvo que se activen.
- El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Calculadora
Cargando la instantánea del catálogo…
Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.