Quais LLMs locais cabem em RTX 5090 (32 GB GDDR7)

A RTX 5090 tem 32 GB GDDR7. Depois de reservar 2 GiB para o sistema e a tela, sobram cerca de 30 GiB para um modelo. Com contexto de 8K, o maior modelo da nossa lista que cabe é o Qwen2.5-32B-Instruct com Q5_K_M (cerca de 24,7 GiB). Mixtral-8x7B-Instruct-v0.1 com Q4_K_M fica no limite (cerca de 27,6 GiB–28,6 GiB).

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

Quais modelos cabem com 8K

Cada modelo usa o arquivo de maior precisão que cabe, com um chat por vez.

Cabe (58)

Modelo	Quantização	Total
Qwen3.8-27B	GGUF Q6_K (mradermacher)	21,7 GiB–25,9 GiB
Mistral-Small-24B-Instruct-2501	GGUF Q8_0 (Unsloth)	24,7 GiB–25,6 GiB
Qwen3-VL-30B-A3B-Instruct	GGUF Q6_K (Unsloth)	24,2 GiB–25,1 GiB
Qwen3-30B-A3B-Instruct-2507	GGUF Q6_K (Unsloth)	24,2 GiB–25,1 GiB
Qwen3-30B-A3B	GGUF Q6_K (Qwen)	24,2 GiB–25,1 GiB
Qwen2.5-32B-Instruct	GGUF Q5_K_M (Qwen)	23,8 GiB–24,7 GiB
Qwen2.5-Coder-32B-Instruct	GGUF Q5_K_M (Qwen)	23,8 GiB–24,7 GiB
QwQ-32B	GGUF Q5_K_M (Qwen)	23,8 GiB–24,7 GiB
DeepSeek-R1-Distill-Qwen-32B	GGUF Q5_K_M (Unsloth)	23,8 GiB–24,7 GiB
Qwen2.5-VL-32B-Instruct	GGUF Q5_K_M (Unsloth)	23,8 GiB–24,7 GiB
OpenMath-Nemotron-32B	GGUF Q5_K_M (mradermacher)	23,8 GiB–24,7 GiB
Qwen3-32B	GGUF Q5_K_M (Qwen)	23,7 GiB–24,7 GiB
DeepSeek-V2-Lite-Chat	GGUF Q8_0 (mradermacher)	15,9 GiB–19,2 GiB
Gemma 3 27B IT	GGUF Q4_0 (Google QAT)	17,2 GiB–18,0 GiB
Qwen2.5-14B-Instruct	GGUF Q8_0	16,2 GiB–17,0 GiB
Qwen2.5-Coder-14B-Instruct	GGUF Q8_0 (Qwen)	16,2 GiB–17,0 GiB
OpenMath-Nemotron-14B	GGUF Q8_0 (mradermacher)	16,2 GiB–17,0 GiB
Phi-4-reasoning	GGUF Q8_0 (Unsloth)	16,2 GiB–17,0 GiB
phi-4	GGUF Q8_0 (Microsoft)	16,2 GiB–17,0 GiB
Llama 3.1 8B Instruct	Official BF16 safetensors	16,1 GiB–16,8 GiB
Qwen3-14B	GGUF Q8_0 (Qwen)	16,0 GiB–16,8 GiB
Mistral-Nemo-Instruct-2407	GGUF Q8_0 (Unsloth)	13,5 GiB–14,2 GiB
gpt-oss-20b	MXFP4 safetensors	13,1 GiB–13,8 GiB
GLM-4-9B-0414	GGUF Q8_0 (Unsloth)	9,8 GiB–10,3 GiB
granite-3.3-8b-instruct	GGUF Q8_0 (IBM)	9,5 GiB–10,1 GiB
Qwen3-VL-8B-Instruct	GGUF Q8_0 (Qwen)	9,4 GiB–10,0 GiB
Qwen3-8B-Base	GGUF Q8_0 (mradermacher)	9,4 GiB–10,0 GiB
Qwen3-8B	GGUF Q8_0	9,4 GiB–10,0 GiB
Qwen2.5-Math-7B-Instruct	GGUF Q8_0 (bartowski)	8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8B	GGUF Q8_0 (Unsloth)	9,1 GiB–9,7 GiB
Gemma 3 12B IT	GGUF Q4_0 (Google QAT)	8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3	GGUF Q8_0 (bartowski)	8,3 GiB–8,9 GiB
Qwen2.5-Coder-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Qwen2.5-7B-Instruct	GGUF Q8_0	8,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7B	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
OpenMath-Nemotron-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-Instruct	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
Qwen2-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Phi-3.5-mini-instruct	GGUF Q8_0 (bartowski)	6,9 GiB–7,6 GiB
Llama 3.2 3B Instruct	Official BF16 safetensors	7,0 GiB–7,5 GiB
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen)	5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth)	5,2 GiB–5,8 GiB
Qwen3-4B	GGUF Q8_0	5,2 GiB–5,8 GiB
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth)	4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen)	3,8 GiB–4,2 GiB
Qwen2.5-3B-Instruct	GGUF Q8_0	3,8 GiB–4,2 GiB
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth)	3,5 GiB–3,9 GiB
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth)	3,3 GiB–3,8 GiB
Gemma 3 4B IT	GGUF Q4_0 (Google QAT)	3,3 GiB–3,8 GiB
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher)	2,7 GiB–3,2 GiB
Qwen3-1.7B	GGUF Q8_0	2,7 GiB–3,2 GiB
Llama 3.2 1B Instruct	Official BF16 safetensors	2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen3-0.6B	GGUF Q8_0 (Qwen)	1,6 GiB–2,0 GiB
Gemma 3 1B IT	GGUF Q4_0 (Google QAT)	1,1 GiB–1,5 GiB
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen)	0,8 GiB–1,2 GiB

Apertado (2)

Modelo	Quantização	Total
Mixtral-8x7B-Instruct-v0.1	GGUF Q4_K_M (mradermacher)	27,6 GiB–28,6 GiB
Drama 3	Unofficial int4 W4A16 (GPTQ-Marlin, with codec)	22,7 GiB–27,0 GiB

Não cabem (26)

Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43,6 GiB
Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47,3 GiB
gpt-oss-120b · MXFP4 · 62,8 GiB
GLM-4.5-Air · Q4_K_M · 71,4 GiB
Qwen3.8-Flash-Next · Q4_K_M · 131,5 GiB
MiniMax-M2 · Q4_K_M · 134 GiB
Qwen3-235B-A22B · Q4_K_M · 137,1 GiB
Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137,1 GiB
Llama 3.3 70B Instruct · BF16 · 137,2 GiB
DeepSeek-V4-Flash-0731 · FP8 · 183,7 GiB
GLM-4.6 · Q4_K_M · 208,4 GiB
GLM-4.5 · Q4_K_M · 209,2 GiB
MiniMax-M3 · Q4_K_M · 249,7 GiB
GLM-5.3-Flash · Q8_0 · 373,6 GiB
DeepSeek-V3 · Q4_K_M · 443,1 GiB
DeepSeek-R1 · Q4_K_M · 443,1 GiB
DeepSeek-V3-0324 · Q4_K_M · 443,1 GiB
DeepSeek-R1-0528 · Q4_K_M · 443,7 GiB
DeepSeek-V3.1 · Q4_K_M · 444,2 GiB
Muse Spark Open · NVFP4 · 508,9 GiB
DeepSeek-V4.1-Flash · FP8 · 558,8 GiB
Ling-3.1-flash · FP8 · 628,3 GiB
Kimi-K2-Instruct · Q4_K_M · 679,5 GiB
Kimi-K2-Thinking · Q4_K_M · 680 GiB
GLM-5.3 · Q8_0 · 877 GiB

Verificações específicas

Configurações conhecidas neste hardware

1 configurações conhecidas

Configurações que mantenedores e comunidade colocaram para rodar neste hardware.

Qwen3.8-27B

1× GeForce RTX 5090 32GB (desktop)

Medido pelo mantenedor original

Quantização:NVFP4 safetensors(4 bpw)

Motor:vLLM

Testado:

✓ geração
✓ 262,144 contexto
✓ chamada de ferramentas
✓ decodificação especulativa

Medido:160 tok/s· 1 streaming

Configuração testada. O texto está em inglês.

Usar esta configuração Início rápido (inglês)Fonte ↗

Memória

NVIDIAGeForce RTX 5090 32GB desktop
Tipo de memóriaVRAM discreta
Anunciado32 GB GDDR7
Bruto32,00 GiB (34.359.738.368 bytes)
Reserva padrão2,00 GiB (2.147.483.648 bytes)
Orçamento líquido30,00 GiB (32.212.254.720 bytes)

A reserva é uma suposição ajustável. Numa máquina sem tela você pode reduzi-la na calculadora.

Duas destas placas não viram uma placa maior. Cada cópia do modelo precisa caber numa placa, a menos que a engine divida o modelo com paralelismo de tensores.

Abrir a calculadora com este hardware Calculadora

Páginas relacionadas

Fontes

NVIDIA GeForce RTX 5090 product page — Standard Memory Config 32 GB GDDR7

Calculadora

A carregar o snapshot do catálogo…

Sua GPU ou Mac

Modelo

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções

Mostrar modelos históricos

Runtime

Engine e tipo de cache KV desta estimativa.

Filtro de quantização Permitir substituto se o filtro não tiver correspondência

Desligado: GGUF, Q8 e outros filtros continuam estritos. Ligado: mostra substituição com pedido, usado e motivo.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista)

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Escolha uma GPU ou um Mac para ver quais modelos cabem, ou um modelo para ver quanta memória ele precisa.