DeepSeek-V4.1-Flash en RTX 5090: No cabe, Estimación aproximada
Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión. Configuración de esta página: FP8 safetensors, 4096 tokens en caché, 1 secuencia, motor vllm. Estado: Memoria insuficiente. Software: No verificado..
Configuración fija de la página
- ModeloDeepSeek-V4.1-Flash
- HardwareGeForce RTX 5090 32GB (desktop)
- CuantizaciónFP8 safetensors
- Longitud de contexto (tokens en caché)4096
- Motor
vllm - Secuencias simultáneas1
- Tipo de caché KVfp16
Identificadores técnicos y datos para compartir
- Modelo
deepseek-v4.1-flash - Hardware
nvidia-geforce-rtx-5090-32gb-desktop - Cuantización
fp8 - Fragmento para compartir esta identidad
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6ImRlZXBzZWVrLXY0LjEtZmxhc2giLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTUwOTAtMzJnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZnA4IiwiY29udGV4dFRva2VucyI6NDA5NiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0
Desglose de memoria
- Weight artifact
- 475,24 GiB (510.286.023.000 bytes)
- Raw KV cache
- 0,31 GiB (335.544.320 bytes)
- Engine extras / workspace
- 0,63 GiB–74,22 GiB
- Total estimated demand
- 476,18 GiB–549,77 GiB
- Net calculator budget
- 30,00 GiB
- OS / display reserve
- 2,00 GiB
- Remaining vs net budget
- -519,77 GiB–-446,18 GiB
estimación alta 549,77 GiB frente a 30,00 GiB netos
Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.
Otros archivos publicados en este dispositivo
Mismo modelo, dispositivo y contexto (4096 tokens, 1 secuencia, KV en FP16). Cada fila es un conjunto de archivos de pesos publicado con su motor habitual, ordenado por memoria.
| Cuantización | Motor | Memoria estimada | Ajuste |
|---|---|---|---|
| FP8 safetensors Esta página | vllm | 476,18 GiB–549,77 GiB | No cabe · Estimación aproximada |
Hipótesis que afectan al resultado
- El contexto pedido cabe en la ventana nativa de 1048576 tokens.
- La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
- El recuento de parámetros activos es desconocido o no tiene una fuente independiente. Los parámetros activos describen el cómputo enrutado, no la huella residente completa.
- Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
- El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
- Los bytes de pesos provienen de 48 fragmentos safetensors publicados que suman 510286023000 bytes.
- Hay componente de visión. La inferencia de texto no incluye encoder ni projector.
- Hay pesos MTP/draft; no entran salvo que se activen.
Páginas relacionadas
Fuentes
- DeepSeek-V4.1-Flash model card
- config.json — revision dba1be0a40aa45a94ad051997016db3960a90277
- safetensors index — metadata.total_size=510286023000
- NVIDIA GeForce RTX 5090 product page — Standard Memory Config 32 GB GDDR7
Calculadora
Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personalice en la calculadora principal; el enlace conservará esa identidad.
Cargando la instantánea del catálogo…
Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.