Mistral-Nemo-Instruct-2407: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (Unsloth): 8,34 GiB–8,94 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Roda em

Publicador e procedência

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact
6,96 GiB (7.477.204.512 bytes)
Raw KV cache
1,25 GiB (1.342.177.280 bytes)
Engine extras / workspace
0,13 GiB–0,73 GiB
Total estimated demand
8,34 GiB–8,94 GiB

Arquivos contados

QuantizaçãoArquivos contadosBytesMotor de execuçãoEvidência
BF16 safetensors
bf16
5 shards safetensors
Total de bytes selecionados: 24.495.564.800 (22,81 GiB / 24,50 GB)
Primeiro shard: model-00001-of-00005.safetensors
Último shard: model-00005-of-00005.safetensors
Ver todos os 5 arquivos de shard
  • model-00001-of-00005.safetensors
  • model-00002-of-00005.safetensors
  • model-00003-of-00005.safetensors
  • model-00004-of-00005.safetensors
  • model-00005-of-00005.safetensors
24.495.564.800 (22,81 GiB / 24,50 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q4_K_M (Unsloth)
gguf-q4_k_m
Mistral-Nemo-Instruct-2407.Q4_K_M.gguf7.477.204.512 (6,96 GiB / 7,48 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (Unsloth)
gguf-q5_k_m
Mistral-Nemo-Instruct-2407.Q5_K_M.gguf8.727.631.392 (8,13 GiB / 8,73 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (Unsloth)
gguf-q6_k
Mistral-Nemo-Instruct-2407.Q6_K.gguf10.056.209.952 (9,37 GiB / 10,06 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Unsloth)
gguf-q8_0
Mistral-Nemo-Instruct-2407.Q8_0.gguf13.022.369.312 (12,13 GiB / 13,02 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNenhum arquivo publicado6.123.891.200 (Linhas teóricas não são artefactos descarregáveis.)—theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização2.048 tokens8.192 tokens32.768 tokens
BF16 safetensors23,75 GiB–25,64 GiB24,69 GiB–26,60 GiB28,44 GiB–30,46 GiB
GGUF Q4_K_M (Unsloth)7,40 GiB–7,92 GiB8,34 GiB–8,94 GiB12,09 GiB–12,95 GiB
GGUF Q5_K_M (Unsloth)8,57 GiB–9,11 GiB9,50 GiB–10,13 GiB13,25 GiB–14,14 GiB
GGUF Q6_K (Unsloth)9,80 GiB–10,37 GiB10,74 GiB–11,39 GiB14,49 GiB–15,40 GiB
GGUF Q8_0 (Unsloth)12,57 GiB–13,19 GiB13,50 GiB–14,21 GiB17,25 GiB–18,22 GiB
INT4 theoretical
Linhas teóricas não são artefactos descarregáveis.
6,14 GiB–8,29 GiB7,08 GiB–9,46 GiB10,83 GiB–14,07 GiB

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (8), não query heads (32).

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Premissas que afetam o resultado

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Quantização

Tipo de dispositivo

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.