Quais LLMs locais cabem em RTX 4060 Ti (16 GB GDDR6)

A RTX 4060 Ti tem 16 GB GDDR6. Depois de reservar 1 GiB para o sistema e a tela, sobram cerca de 15 GiB para um modelo. Com contexto de 8K, o maior modelo da nossa lista que cabe é o Qwen3.8-27B com UD-IQ3_XXS (cerca de 13,3 GiB).

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

Quais modelos cabem com 8K

Cada modelo usa o arquivo de maior precisão que cabe, com um chat por vez.

Cabe (44)

Modelo	Quantização	Total
Qwen3-14B	GGUF Q6_K (Qwen)	12,7 GiB–13,4 GiB
Qwen3.8-27B	GGUF UD-IQ3_XXS (Unsloth)	11,0 GiB–13,3 GiB
Phi-4-reasoning	GGUF Q5_K_M (Unsloth)	11,6 GiB–12,2 GiB
DeepSeek-V2-Lite-Chat	GGUF Q4_K_M (mradermacher)	10,0 GiB–12,2 GiB
Qwen2.5-14B-Instruct	GGUF Q5_K_M (Qwen)	11,4 GiB–12,1 GiB
Qwen2.5-Coder-14B-Instruct	GGUF Q5_K_M (Qwen)	11,4 GiB–12,1 GiB
OpenMath-Nemotron-14B	GGUF Q5_K_M (mradermacher)	11,4 GiB–12,1 GiB
phi-4	GGUF Q5_K_M (Unsloth)	11,4 GiB–12,1 GiB
Mistral-Nemo-Instruct-2407	GGUF Q6_K (Unsloth)	10,7 GiB–11,4 GiB
GLM-4-9B-0414	GGUF Q8_0 (Unsloth)	9,8 GiB–10,3 GiB
granite-3.3-8b-instruct	GGUF Q8_0 (IBM)	9,5 GiB–10,1 GiB
Qwen3-VL-8B-Instruct	GGUF Q8_0 (Qwen)	9,4 GiB–10,0 GiB
Qwen3-8B-Base	GGUF Q8_0 (mradermacher)	9,4 GiB–10,0 GiB
Qwen3-8B	GGUF Q8_0	9,4 GiB–10,0 GiB
Qwen2.5-Math-7B-Instruct	GGUF Q8_0 (bartowski)	8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8B	GGUF Q8_0 (Unsloth)	9,1 GiB–9,7 GiB
Gemma 3 12B IT	GGUF Q4_0 (Google QAT)	8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3	GGUF Q8_0 (bartowski)	8,3 GiB–8,9 GiB
Qwen2.5-Coder-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Qwen2.5-7B-Instruct	GGUF Q8_0	8,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7B	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
OpenMath-Nemotron-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-Instruct	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
Qwen2-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Phi-3.5-mini-instruct	GGUF Q8_0 (bartowski)	6,9 GiB–7,6 GiB
Llama 3.2 3B Instruct	Official BF16 safetensors	7,0 GiB–7,5 GiB
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen)	5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth)	5,2 GiB–5,8 GiB
Qwen3-4B	GGUF Q8_0	5,2 GiB–5,8 GiB
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth)	4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen)	3,8 GiB–4,2 GiB
Qwen2.5-3B-Instruct	GGUF Q8_0	3,8 GiB–4,2 GiB
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth)	3,5 GiB–3,9 GiB
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth)	3,3 GiB–3,8 GiB
Gemma 3 4B IT	GGUF Q4_0 (Google QAT)	3,3 GiB–3,8 GiB
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher)	2,7 GiB–3,2 GiB
Qwen3-1.7B	GGUF Q8_0	2,7 GiB–3,2 GiB
Llama 3.2 1B Instruct	Official BF16 safetensors	2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen3-0.6B	GGUF Q8_0 (Qwen)	1,6 GiB–2,0 GiB
Gemma 3 1B IT	GGUF Q4_0 (Google QAT)	1,1 GiB–1,5 GiB
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen)	0,8 GiB–1,2 GiB

Apertado (2)

Modelo	Quantização	Total
Mistral-Small-24B-Instruct-2501	GGUF Q4_K_M (Unsloth)	14,7 GiB–15,5 GiB
gpt-oss-20b	MXFP4 safetensors	13,1 GiB–13,8 GiB

Não cabem (40)

Llama 3.1 8B Instruct · BF16 · 16,8 GiB
Gemma 3 27B IT · Q4_0 · 18 GiB
Qwen3-30B-A3B · Q4_K_M · 18,9 GiB
Qwen3-30B-A3B-Instruct-2507 · Q4_K_M · 18,9 GiB
Qwen3-VL-30B-A3B-Instruct · Q4_K_M · 18,9 GiB
Qwen3-32B · Q4_K_M · 21,4 GiB
OpenMath-Nemotron-32B · Q4_K_M · 21,5 GiB
Qwen2.5-VL-32B-Instruct · Q4_K_M · 21,5 GiB
DeepSeek-R1-Distill-Qwen-32B · Q4_K_M · 21,5 GiB
QwQ-32B · Q4_K_M · 21,5 GiB
Qwen2.5-Coder-32B-Instruct · Q4_K_M · 21,5 GiB
Qwen2.5-32B-Instruct · Q4_K_M · 21,5 GiB
Drama 3 · Unofficial int4 W4A16 · 27 GiB
Mixtral-8x7B-Instruct-v0.1 · Q4_K_M · 28,6 GiB
Llama-3.1-Nemotron-70B-Instruct-HF · Q4_K_M · 43,6 GiB
Qwen2.5-72B-Instruct · Q4_K_M · 45 GiB
Qwen3-Next-80B-A3B-Instruct · Q4_K_M · 47,3 GiB
gpt-oss-120b · MXFP4 · 62,8 GiB
GLM-4.5-Air · Q4_K_M · 71,4 GiB
Qwen3.8-Flash-Next · Q4_K_M · 131,5 GiB
MiniMax-M2 · Q4_K_M · 134 GiB
Qwen3-235B-A22B · Q4_K_M · 137,1 GiB
Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137,1 GiB
Llama 3.3 70B Instruct · BF16 · 137,2 GiB
DeepSeek-V4-Flash-0731 · FP8 · 183,7 GiB
GLM-4.6 · Q4_K_M · 208,4 GiB
GLM-4.5 · Q4_K_M · 209,2 GiB
MiniMax-M3 · Q4_K_M · 249,7 GiB
GLM-5.3-Flash · Q8_0 · 373,6 GiB
DeepSeek-V3 · Q4_K_M · 443,1 GiB
DeepSeek-R1 · Q4_K_M · 443,1 GiB
DeepSeek-V3-0324 · Q4_K_M · 443,1 GiB
DeepSeek-R1-0528 · Q4_K_M · 443,7 GiB
DeepSeek-V3.1 · Q4_K_M · 444,2 GiB
Muse Spark Open · NVFP4 · 508,9 GiB
DeepSeek-V4.1-Flash · FP8 · 558,8 GiB
Ling-3.1-flash · FP8 · 628,3 GiB
Kimi-K2-Instruct · Q4_K_M · 679,5 GiB
Kimi-K2-Thinking · Q4_K_M · 680 GiB
GLM-5.3 · Q8_0 · 877 GiB

Verificações específicas

Memória

NVIDIAGeForce RTX 4060 Ti 16GB desktop
Tipo de memóriaVRAM discreta
Anunciado16 GB GDDR6
Bruto16,00 GiB (17.179.869.184 bytes)
Reserva padrão1,00 GiB (1.073.741.824 bytes)
Orçamento líquido15,00 GiB (16.106.127.360 bytes)

A reserva é uma suposição ajustável. Numa máquina sem tela você pode reduzi-la na calculadora.

Duas destas placas não viram uma placa maior. Cada cópia do modelo precisa caber numa placa, a menos que a engine divida o modelo com paralelismo de tensores.

Abrir a calculadora com este hardware Calculadora

Páginas relacionadas

Fontes

NVIDIA GeForce RTX 40 Series specs — RTX 4060 Ti Memory Size 16 GB / 8 GB — this record is the 16 GB SKU only

Calculadora

A carregar o snapshot do catálogo…

Sua GPU ou Mac

Modelo

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções

Mostrar modelos históricos

Runtime

Engine e tipo de cache KV desta estimativa.

Filtro de quantização Permitir substituto se o filtro não tiver correspondência

Desligado: GGUF, Q8 e outros filtros continuam estritos. Ligado: mostra substituição com pedido, usado e motivo.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista)

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Escolha uma GPU ou um Mac para ver quais modelos cabem, ou um modelo para ver quanta memória ele precisa.