Quais LLMs locais cabem em RTX 3080 (10 GB GDDR6X)

A RTX 3080 tem 10 GB GDDR6X. Depois de reservar 1 GiB para o sistema e a tela, sobram cerca de 9 GiB para um modelo. Com contexto de 8K, o maior modelo da nossa lista que cabe é o GLM-4-9B-0414 com Q5_K_M (cerca de 7,5 GiB). Mistral-Nemo-Instruct-2407 com Q4_K_M fica no limite (cerca de 8,3 GiB–8,9 GiB).

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

Quais modelos cabem com 8K

Cada modelo usa o arquivo de maior precisão que cabe, com um chat por vez.

Cabe (34)

ModeloQuantizaçãoTotal
Qwen3-VL-8B-InstructGGUF Q6_K (Unsloth)7,5 GiB–8,1 GiB
Qwen3-8B-BaseGGUF Q6_K (mradermacher)7,5 GiB–8,1 GiB
Qwen3-8BGGUF Q6_K (Qwen)7,5 GiB–8,1 GiB
Qwen2.5-Math-7B-InstructGGUF Q6_K (bartowski)6,4 GiB–7,9 GiB
DeepSeek-R1-Distill-Llama-8BGGUF Q6_K (Unsloth)7,3 GiB–7,8 GiB
Phi-3.5-mini-instructGGUF Q8_0 (bartowski)6,9 GiB–7,6 GiB
Llama 3.2 3B InstructOfficial BF16 safetensors7,0 GiB–7,5 GiB
GLM-4-9B-0414GGUF Q5_K_M (Unsloth)7,0 GiB–7,5 GiB
granite-3.3-8b-instructGGUF Q5_K_M (IBM)6,8 GiB–7,3 GiB
Mistral-7B-Instruct-v0.3GGUF Q6_K (bartowski)6,7 GiB–7,2 GiB
Qwen2.5-Coder-7BGGUF Q6_K (mradermacher)6,4 GiB–6,9 GiB
Qwen2.5-Coder-7B-InstructGGUF Q6_K (Qwen)6,4 GiB–6,9 GiB
Qwen2.5-7B-InstructGGUF Q6_K (Qwen)6,4 GiB–6,9 GiB
DeepSeek-R1-Distill-Qwen-7BGGUF Q6_K (Unsloth)6,4 GiB–6,9 GiB
OpenMath-Nemotron-7BGGUF Q6_K (mradermacher)6,4 GiB–6,9 GiB
Qwen2.5-VL-7B-InstructGGUF Q6_K (Unsloth)6,4 GiB–6,9 GiB
Qwen2-7B-InstructGGUF Q6_K (Qwen)6,4 GiB–6,9 GiB
Qwen3-VL-4B-InstructGGUF Q8_0 (Qwen)5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507GGUF Q8_0 (Unsloth)5,2 GiB–5,8 GiB
Qwen3-4BGGUF Q8_05,2 GiB–5,8 GiB
Phi-4-mini-instructGGUF Q8_0 (Unsloth)4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-InstructGGUF Q8_0 (Qwen)3,8 GiB–4,2 GiB
Qwen2.5-3B-InstructGGUF Q8_03,8 GiB–4,2 GiB
Qwen2.5-VL-3B-InstructGGUF Q8_0 (Unsloth)3,5 GiB–3,9 GiB
SmolLM2-1.7B-InstructGGUF Q8_0 (Unsloth)3,3 GiB–3,8 GiB
Gemma 3 4B ITGGUF Q4_0 (Google QAT)3,3 GiB–3,8 GiB
Qwen3-1.7B-BaseGGUF Q8_0 (mradermacher)2,7 GiB–3,2 GiB
Qwen3-1.7BGGUF Q8_02,7 GiB–3,2 GiB
Llama 3.2 1B InstructOfficial BF16 safetensors2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen2.5-1.5B-InstructGGUF Q8_0 (Qwen)2,1 GiB–2,5 GiB
Qwen3-0.6BGGUF Q8_0 (Qwen)1,6 GiB–2,0 GiB
Gemma 3 1B ITGGUF Q4_0 (Google QAT)1,1 GiB–1,5 GiB
Qwen2.5-0.5B-InstructGGUF Q8_0 (Qwen)0,8 GiB–1,2 GiB

Apertado (2)

ModeloQuantizaçãoTotal
Gemma 3 12B ITGGUF Q4_0 (Google QAT)8,5 GiB–9,0 GiB
Mistral-Nemo-Instruct-2407GGUF Q4_K_M (Unsloth)8,3 GiB–8,9 GiB
Não cabem (50)

Memória

A reserva é uma suposição ajustável. Numa máquina sem tela você pode reduzi-la na calculadora.

Duas destas placas não viram uma placa maior. Cada cópia do modelo precisa caber numa placa, a menos que a engine divida o modelo com paralelismo de tensores.

Abrir a calculadora com este hardwareCalculadora

Páginas relacionadas

Fontes

Calculadora

A carregar o snapshot do catálogo…

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções
Runtime

Engine e tipo de cache KV desta estimativa.

Desligado: GGUF, Q8 e outros filtros continuam estritos. Ligado: mostra substituição com pedido, usado e motivo.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Escolha uma GPU ou um Mac para ver quais modelos cabem, ou um modelo para ver quanta memória ele precisa.