DeepSeek-V4.1-Flash em RTX 5090: Não cabe, Estimativa grosseira

Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão. Configuração desta página: FP8 safetensors, 4.096 tokens em cache, 1 sequência, motor vllm. Status: Memória insuficiente. Software: Não verificado..

Memória insuficienteNão verificadoEste resultado é uma estimativa, não um rastreio medido.

Configuração fixa da página

Identificadores técnicos e dados de compartilhamento
  • Modelodeepseek-v4.1-flash
  • Hardwarenvidia-geforce-rtx-5090-32gb-desktop
  • Quantizaçãofp8
  • Fragmento para compartilhar esta identidadev2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6ImRlZXBzZWVrLXY0LjEtZmxhc2giLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTUwOTAtMzJnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZnA4IiwiY29udGV4dFRva2VucyI6NDA5NiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0

Composição da memória

Weight artifact
475,24 GiB (510.286.023.000 bytes)
Raw KV cache
0,31 GiB (335.544.320 bytes)
Engine extras / workspace
0,63 GiB–74,22 GiB
Total estimated demand
476,18 GiB–549,77 GiB
Net calculator budget
30,00 GiB
OS / display reserve
2,00 GiB
Remaining vs net budget
-519,77 GiB–-446,18 GiB

estimativa alta 549,77 GiB contra 30,00 GiB líquidos

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Outros arquivos publicados neste dispositivo

Mesmo modelo, dispositivo e contexto (4.096 tokens, 1 sequência, KV em FP16). Cada linha é um conjunto de arquivos de pesos publicado com seu motor habitual, ordenado por memória.

QuantizaçãoMotor de execuçãoMemória estimadaAjuste
FP8 safetensors Esta páginavllm476,18 GiB–549,77 GiBNão cabe · Estimativa grosseira

Premissas que afetam o resultado

Abrir esta combinação na calculadoraCache KV

Páginas relacionadas

Fontes

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; a partilha guarda essa identidade.

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Quantização

Tipo de dispositivo

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.