Calculadora de VRAM para LLM
Estime a memória necessária para rodar um LLM na sua máquina.
Estimativa
Indeterminado
Falta orçamento ou dado essencial, ou este modo de implantação não pode ser julgado nesta versão.
Faixa estimada de memória: 4,92 GiB – 5,42 GiB
Os pesos usam metadados dos arquivos escolhidos. O extra de execução continua estimado.
Compatibilidade de software
Suporte documentado. Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
Premissas que afetam o resultado
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- O tipo da KV é independente da quantização dos pesos, a menos que você mude.
- Usando 4 heads KV, não 28 de consulta.
- O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
- A reserva do motor não é o uso real de pesos e KV.
- Os buffers do llama.cpp crescem com contexto e batch. São cenários ajustáveis, não medições — salvo uma calibração correspondente.