Calculadora de VRAM para LLM local

Escolha sua GPU e um modelo para ver se cabe, com pesos, cache KV e sobrecarga de execução incluídos.

Sua GPU ou Mac

Modelo

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções

Quantidade

QuantizaçãoGGUF Q8_0Recomendado8,10 GiB – 8,66 GiBRoda com folgaBF16 safetensors14,75 GiB – 15,44 GiBCabeGGUF Q6_K (Qwen)6,39 GiB – 6,91 GiBRoda com folgaGGUF Q5_K_M5,63 GiB – 6,14 GiBRoda com folga

GGUF Q8_0 · Auto · gguf-q8_0

Checkpoint: Qwen/Qwen2.5-7B-Instruct-GGUF

Mostrar modelos históricos

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Cabe

Qwen2.5-7B-Instruct · em RTX 4090 24GB · contexto de 8K

Necessário

8,66 GiB

Disponível em RTX 4090 24GB

22,00 GiB

Faixa estimada: de 8,10 GiB a 8,66 GiB.

Pesos 7,54 GiB
Contexto (cache KV) 0,44 GiB
Sobrecarga 0,13 GiB
Livre 13,34 GiB

Arquivo: GGUF Q8_0 · escolhido automaticamente · Qwen/Qwen2.5-7B-Instruct-GGUF

Experimente

Há espaço para contexto de 32K: precisa de cerca de 10,07 GiB.

Execução: não verificada

Detalhes

Bytes do arquivo

Checkpoint: Qwen/Qwen2.5-7B-Instruct

Compatibilidade de software

Runtime	Estado	Notas
llama.cpp	Não verificado	Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
Ollama (baseado em llama.cpp)	Não verificado	Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
vLLM	Não verificado	Não verificado
SGLang	Não verificado	Não verificado
MLX	Não se aplica a este hardware	Não verificado
ExLlamaV3	Não verificado	Não verificado

Evidência e limites

Caber na memória não prova que motor, quantização e sistema operacional funcionam juntos.
Pelo formato, este motor consegue ler o arquivo. Isso não é um teste real com este modelo, esta versão, este hardware e este sistema.

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 32768 tokens.
Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
Arquivos contados: qwen2.5-7b-instruct-q8_0-00001-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00002-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00003-of-00003.gguf.
O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
A precisão do cache KV não depende da quantização dos pesos, a não ser que você mude.
Usando 4 heads KV, não 28 de consulta.
O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
A reserva do motor não é o uso real de pesos e KV.
Os buffers do llama.cpp crescem com contexto e batch. São cenários ajustáveis, não medições — salvo uma calibração correspondente.
A RAM do host não entra sozinha na VRAM discreta.
A quantização gguf-q8_0 foi escolhida automaticamente. O resultado mostra o que foi usado.

Conjunto 2026-10-02.1 · calculadora 0.3.0

Os números são estimativas a partir da configuração do modelo e do tamanho dos arquivos, não medições. Método de cálculo

Do que é feita a VRAM necessária

Cada resultado soma as partes abaixo e compara o total com a memória que sua GPU ou seu Mac consegue usar de fato. Os números são estimativas, não medições: a metodologia mostra a conta e a calculadora de cache KV calcula à parte a memória do contexto.

Pesos
Bytes dos arquivos de pesos escolhidos (GGUF ou safetensors), não um chute a partir do número de parâmetros. Modelos MoE contam todos os especialistas.
Cache KV
Cresce com o comprimento de contexto e as sequências simultâneas, seguindo a estrutura de atenção de cada arquitetura.
Overhead do runtime
Área de trabalho e buffers do motor, como uma faixa para llama.cpp, vLLM, SGLang e outros motores.
Memória utilizável
Capacidade do dispositivo menos uma reserva para o sistema e a tela. Duas GPUs nunca são simplesmente somadas.