Quais LLMs locais cabem em RTX 4090 (24 GB GDDR6X)

A RTX 4090 tem 24 GB GDDR6X. Depois de reservar 2 GiB para o sistema e a tela, sobram cerca de 22 GiB para um modelo. Com contexto de 8K, o maior modelo da nossa lista que cabe é o Qwen3-30B-A3B com Q4_K_M (cerca de 18,9 GiB). Qwen2.5-32B-Instruct com Q4_K_M fica no limite (cerca de 20,6 GiB–21,5 GiB).

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

Quais modelos cabem com 8K

Cada modelo usa o arquivo de maior precisão que cabe, com um chat por vez.

Cabe (51)

Modelo	Quantização	Total
Qwen3.8-27B	GGUF Q4_K_M (mradermacher)	16,4 GiB–19,7 GiB
DeepSeek-V2-Lite-Chat	GGUF Q8_0 (mradermacher)	15,9 GiB–19,2 GiB
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen)	18,2 GiB–18,9 GiB
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth)	18,2 GiB–18,9 GiB
Qwen3-30B-A3B	GGUF Q4_K_M	18,2 GiB–18,9 GiB
Gemma 3 27B IT	GGUF Q4_0 (Google QAT)	17,2 GiB–18,0 GiB
Mistral-Small-24B-Instruct-2501	GGUF Q5_K_M (bartowski)	17,0 GiB–17,8 GiB
Qwen2.5-14B-Instruct	GGUF Q8_0	16,2 GiB–17,0 GiB
Qwen2.5-Coder-14B-Instruct	GGUF Q8_0 (Qwen)	16,2 GiB–17,0 GiB
OpenMath-Nemotron-14B	GGUF Q8_0 (mradermacher)	16,2 GiB–17,0 GiB
Phi-4-reasoning	GGUF Q8_0 (Unsloth)	16,2 GiB–17,0 GiB
phi-4	GGUF Q8_0 (Microsoft)	16,2 GiB–17,0 GiB
Llama 3.1 8B Instruct	Official BF16 safetensors	16,1 GiB–16,8 GiB
Qwen3-14B	GGUF Q8_0 (Qwen)	16,0 GiB–16,8 GiB
Mistral-Nemo-Instruct-2407	GGUF Q8_0 (Unsloth)	13,5 GiB–14,2 GiB
gpt-oss-20b	MXFP4 safetensors	13,1 GiB–13,8 GiB
GLM-4-9B-0414	GGUF Q8_0 (Unsloth)	9,8 GiB–10,3 GiB
granite-3.3-8b-instruct	GGUF Q8_0 (IBM)	9,5 GiB–10,1 GiB
Qwen3-VL-8B-Instruct	GGUF Q8_0 (Qwen)	9,4 GiB–10,0 GiB
Qwen3-8B-Base	GGUF Q8_0 (mradermacher)	9,4 GiB–10,0 GiB
Qwen3-8B	GGUF Q8_0	9,4 GiB–10,0 GiB
Qwen2.5-Math-7B-Instruct	GGUF Q8_0 (bartowski)	8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8B	GGUF Q8_0 (Unsloth)	9,1 GiB–9,7 GiB
Gemma 3 12B IT	GGUF Q4_0 (Google QAT)	8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3	GGUF Q8_0 (bartowski)	8,3 GiB–8,9 GiB
Qwen2.5-Coder-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Qwen2.5-7B-Instruct	GGUF Q8_0	8,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7B	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
OpenMath-Nemotron-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-Instruct	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
Qwen2-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Phi-3.5-mini-instruct	GGUF Q8_0 (bartowski)	6,9 GiB–7,6 GiB
Llama 3.2 3B Instruct	Official BF16 safetensors	7,0 GiB–7,5 GiB
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen)	5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth)	5,2 GiB–5,8 GiB
Qwen3-4B	GGUF Q8_0	5,2 GiB–5,8 GiB
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth)	4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen)	3,8 GiB–4,2 GiB
Qwen2.5-3B-Instruct	GGUF Q8_0	3,8 GiB–4,2 GiB
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth)	3,5 GiB–3,9 GiB
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth)	3,3 GiB–3,8 GiB
Gemma 3 4B IT	GGUF Q4_0 (Google QAT)	3,3 GiB–3,8 GiB
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher)	2,7 GiB–3,2 GiB
Qwen3-1.7B	GGUF Q8_0	2,7 GiB–3,2 GiB
Llama 3.2 1B Instruct	Official BF16 safetensors	2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen3-0.6B	GGUF Q8_0 (Qwen)	1,6 GiB–2,0 GiB
Gemma 3 1B IT	GGUF Q4_0 (Google QAT)	1,1 GiB–1,5 GiB
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen)	0,8 GiB–1,2 GiB

Apertado (7)

Modelo	Quantização	Total
Qwen2.5-32B-Instruct	GGUF Q4_K_M	20,6 GiB–21,5 GiB
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen)	20,6 GiB–21,5 GiB
QwQ-32B	GGUF Q4_K_M (Qwen)	20,6 GiB–21,5 GiB
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth)	20,6 GiB–21,5 GiB
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth)	20,6 GiB–21,5 GiB
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher)	20,6 GiB–21,5 GiB
Qwen3-32B	GGUF Q4_K_M	20,5 GiB–21,4 GiB

Não cabem (28)

Drama 3 · Unofficial int4 W4A16 · 27 GiB
Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28,6 GiB
Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43,6 GiB
Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47,3 GiB
gpt-oss-120b · MXFP4 · 62,8 GiB
GLM-4.5-Air · Q4_K_M · 71,4 GiB
Qwen3.8-Flash-Next · Q4_K_M · 131,5 GiB
MiniMax-M2 · Q4_K_M · 134 GiB
Qwen3-235B-A22B · Q4_K_M · 137,1 GiB
Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137,1 GiB
Llama 3.3 70B Instruct · BF16 · 137,2 GiB
DeepSeek-V4-Flash-0731 · FP8 · 183,7 GiB
GLM-4.6 · Q4_K_M · 208,4 GiB
GLM-4.5 · Q4_K_M · 209,2 GiB
MiniMax-M3 · Q4_K_M · 249,7 GiB
GLM-5.3-Flash · Q8_0 · 373,6 GiB
DeepSeek-V3 · Q4_K_M · 443,1 GiB
DeepSeek-R1 · Q4_K_M · 443,1 GiB
DeepSeek-V3-0324 · Q4_K_M · 443,1 GiB
DeepSeek-R1-0528 · Q4_K_M · 443,7 GiB
DeepSeek-V3.1 · Q4_K_M · 444,2 GiB
Muse Spark Open · NVFP4 · 508,9 GiB
DeepSeek-V4.1-Flash · FP8 · 558,8 GiB
Ling-3.1-flash · FP8 · 628,3 GiB
Kimi-K2-Instruct · Q4_K_M · 679,5 GiB
Kimi-K2-Thinking · Q4_K_M · 680 GiB
GLM-5.3 · Q8_0 · 877 GiB

Verificações específicas

Memória

NVIDIAGeForce RTX 4090 Founders Edition / 24GB desktop
Tipo de memóriaVRAM discreta
Anunciado24 GB GDDR6X
Bruto24,00 GiB (25.769.803.776 bytes)
Reserva padrão2,00 GiB (2.147.483.648 bytes)
Orçamento líquido22,00 GiB (23.622.320.128 bytes)

A reserva é uma suposição ajustável. Numa máquina sem tela você pode reduzi-la na calculadora.

Duas destas placas não viram uma placa maior. Cada cópia do modelo precisa caber numa placa, a menos que a engine divida o modelo com paralelismo de tensores.

Medido nesta placa

Qwen2.5-3B-Instruct Q4_K_M, 512 tokens, llama.cpp: 2,31 GiB de memória de GPU em uso (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx512)
Qwen2.5-3B-Instruct Q4_K_M, 2.048 tokens, llama.cpp: 2,37 GiB de memória de GPU em uso (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx2048)
Qwen2.5-3B-Instruct Q4_K_M, 8.192 tokens, llama.cpp: 2,59 GiB de memória de GPU em uso (2026-09-19, rt-qwen2.5-3b-instruct-q4km-4090-ctx8192)

Abrir a calculadora com este hardware Página da combinação Qwen2.5-7B

Páginas relacionadas

Fontes

NVIDIA GeForce RTX 4090 product page — Standard Memory Config 24 GB GDDR6X

Calculadora

A carregar o snapshot do catálogo…

Sua GPU ou Mac

Modelo

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções

Mostrar modelos históricos

Runtime

Engine e tipo de cache KV desta estimativa.

Filtro de quantização Permitir substituto se o filtro não tiver correspondência

Desligado: GGUF, Q8 e outros filtros continuam estritos. Ligado: mostra substituição com pedido, usado e motivo.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista)

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Escolha uma GPU ou um Mac para ver quais modelos cabem, ou um modelo para ver quanta memória ele precisa.