Quais LLMs locais cabem em RTX 4060 (8 GB GDDR6)

A RTX 4060 tem 8 GB GDDR6. Depois de reservar 1 GiB para o sistema e a tela, sobram cerca de 7 GiB para um modelo. Com contexto de 8K, o maior modelo da nossa lista que cabe é o Qwen2-7B-Instruct com Q5_K_M (cerca de 6,1 GiB). GLM-4-9B-0414 com Q4_K_M fica no limite (cerca de 6,2 GiB–6,7 GiB).

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

Quais modelos cabem com 8K

Cada modelo usa o arquivo de maior precisão que cabe, com um chat por vez.

Cabe (28)

ModeloQuantizaçãoTotal
DeepSeek-R1-Distill-Llama-8BGGUF Q4_K_M (Unsloth)5,7 GiB–6,2 GiB
Qwen2.5-Math-7B-InstructGGUF Q4_K_M (bartowski)4,9 GiB–6,2 GiB
Qwen2.5-Coder-7BGGUF Q5_K_M (mradermacher)5,6 GiB–6,1 GiB
Qwen2.5-7B-InstructGGUF Q5_K_M5,6 GiB–6,1 GiB
Qwen2.5-Coder-7B-InstructGGUF Q5_K_M (Qwen)5,6 GiB–6,1 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q5_K_M (Unsloth)5,6 GiB–6,1 GiB
OpenMath-Nemotron-7BGGUF Q5_K_M (mradermacher)5,6 GiB–6,1 GiB
Qwen2.5-VL-7B-InstructGGUF Q5_K_M (Unsloth)5,6 GiB–6,1 GiB
Qwen2-7B-InstructGGUF Q5_K_M (Qwen)5,6 GiB–6,1 GiB
Phi-3.5-mini-instructGGUF Q4_K_M (bartowski)5,4 GiB–6,0 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5,2 GiB–5,8 GiB
Qwen3-4BGGUF Q8_05,2 GiB–5,8 GiB
Mistral-7B-Instruct-v0.3GGUF Q4_K_M (bartowski)5,2 GiB–5,7 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3,8 GiB–4,2 GiB
Qwen2.5-3B-InstructGGUF Q8_03,8 GiB–4,2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3,5 GiB–3,9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3,3 GiB–3,8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3,3 GiB–3,8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2,7 GiB–3,2 GiB
Qwen3-1.7BGGUF Q8_02,7 GiB–3,2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1,6 GiB–2,0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1,1 GiB–1,5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0,8 GiB–1,2 GiB

Apertado (6)

ModeloQuantizaçãoTotal
Llama 3.2 3B InstructOfficial BF16 safetensors7,0 GiB–7,5 GiB
GLM-4-9B-0414GGUF Q4_K_M (Unsloth)6,2 GiB–6,7 GiB
granite-3.3-8b-instructGGUF Q4_K_M (IBM)6,0 GiB–6,5 GiB
Qwen3-VL-8B-InstructGGUF Q4_K_M (Qwen)5,9 GiB–6,5 GiB
Qwen3-8B-BaseGGUF Q4_K_M (mradermacher)5,9 GiB–6,5 GiB
Qwen3-8BGGUF Q4_K_M5,9 GiB–6,5 GiB
Não cabem (52)

Verificações específicas

Memória

A reserva é uma suposição ajustável. Numa máquina sem tela você pode reduzi-la na calculadora.

Duas destas placas não viram uma placa maior. Cada cópia do modelo precisa caber numa placa, a menos que a engine divida o modelo com paralelismo de tensores.

Abrir a calculadora com este hardwareCalculadora

Páginas relacionadas

Fontes

Calculadora

A carregar o snapshot do catálogo…

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções
Runtime

Engine e tipo de cache KV desta estimativa.

Desligado: GGUF, Q8 e outros filtros continuam estritos. Ligado: mostra substituição com pedido, usado e motivo.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Escolha uma GPU ou um Mac para ver quais modelos cabem, ou um modelo para ver quanta memória ele precisa.