Phi-4-mini-instruct: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (Unsloth): 3,45 GiB–3,94 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Publicador e procedência

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact
2,32 GiB (2.491.874.272 bytes)
Raw KV cache
1,00 GiB (1.073.741.824 bytes)
Engine extras / workspace
0,13 GiB–0,62 GiB
Total estimated demand
3,45 GiB–3,94 GiB

Arquivos contados

QuantizaçãoArquivos contadosBytesMotor de execuçãoEvidência
BF16 safetensors
bf16
model-00001-of-00002.safetensors, model-00002-of-00002.safetensors7.672.043.520 (7,15 GiB / 7,67 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q4_K_M (Unsloth)
gguf-q4_k_m
Phi-4-mini-instruct-Q4_K_M.gguf2.491.874.272 (2,32 GiB / 2,49 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (Unsloth)
gguf-q5_k_m
Phi-4-mini-instruct-Q5_K_M.gguf2.848.127.968 (2,65 GiB / 2,85 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (Unsloth)
gguf-q6_k
Phi-4-mini-instruct-Q6_K.gguf3.155.622.880 (2,94 GiB / 3,16 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Unsloth)
gguf-q8_0
Phi-4-mini-instruct.Q8_0.gguf4.084.611.040 (3,80 GiB / 4,08 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNenhum arquivo publicado1.918.010.880 (Linhas teóricas não são artefactos descarregáveis.)—theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização2.048 tokens8.192 tokens32.768 tokens
BF16 safetensors8,02 GiB–9,90 GiB8,77 GiB–10,68 GiB11,77 GiB–13,77 GiB
GGUF Q4_K_M (Unsloth)2,70 GiB–3,12 GiB3,45 GiB–3,94 GiB6,45 GiB–7,15 GiB
GGUF Q5_K_M (Unsloth)3,03 GiB–3,46 GiB3,78 GiB–4,28 GiB6,78 GiB–7,49 GiB
GGUF Q6_K (Unsloth)3,31 GiB–3,75 GiB4,06 GiB–4,57 GiB7,06 GiB–7,78 GiB
GGUF Q8_0 (Unsloth)4,18 GiB–4,64 GiB4,93 GiB–5,45 GiB7,93 GiB–8,66 GiB
INT4 theoretical
Linhas teóricas não são artefactos descarregáveis.
2,16 GiB–3,17 GiB2,91 GiB–4,11 GiB5,91 GiB–7,80 GiB

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (8), não query heads (24).

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Premissas que afetam o resultado

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Quantização

Tipo de dispositivo

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.