Quais LLMs locais cabem em 8 GB de VRAM? (out. de 2026)
GeForce RTX 3060 8GB (desktop) é o SKU do catálogo com o menor orçamento líquido nesta faixa discreta de 8 GB: 7,00 GiB após a reserva documentada. 32 modelos do catálogo cabem com um artefato que tem arquivo. O mês vem do conjunto 2026-10-02.1 (out. de 2026), não do relógio da compilação.
Conjunto de dados 2026-10-02.1 (out. de 2026).
SKUs do catálogo nesta faixa
| Placa | Capacidade anunciada | Orçamento líquido |
|---|---|---|
| GeForce RTX 3060 8GB (desktop) Menor orçamento líquido | 8 GB GDDR6 | 7,00 GiB |
| GeForce RTX 3070 8GB (desktop) | 8 GB GDDR6 | 7,00 GiB |
| GeForce RTX 4060 8GB (desktop) | 8 GB GDDR6 | 7,00 GiB |
| GeForce RTX 5060 Ti 8GB (desktop) | 8 GB GDDR7 | 7,00 GiB |
Modelos do catálogo que cabem
Cada linha é um artefato com arquivo na placa de referência. Uma quantização ausente não é substituída. A busca de contexto para no teto documentado. Sem esse teto, o veredito aparece só em 8192 tokens.
Quando a largura de banda não está no catálogo, o teto de decodificação diz não disponível. Isso não é um veredito de memória.
| Modelo | Artefato | Maior contexto que cabe | Maior contexto incluindo apertado | Veredito em 8192 tokens | Teto de decodificação | Ligações |
|---|---|---|---|---|---|---|
| Qwen2.5-0.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Roda com folga0,68 GiB–1,07 GiB | Não disponível | |
| Qwen3-0.6B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Roda com folga1,37 GiB–1,81 GiB | Não disponível | |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 32.768 | 32.768 | 8192 Roda com folga1,10 GiB–1,50 GiB | Não disponível | |
| Llama 3.2 1B Instruct | Official BF16 safetensorsbf16 · vllm | 47.659 | 131.072 | 8192 Cabe3,18 GiB–5,06 GiB | Não disponível | |
| Qwen2.5-1.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Roda com folga1,38 GiB–1,80 GiB | Não disponível | |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Roda com folga1,38 GiB–1,80 GiB | Não disponível | |
| SmolLM2-1.7B-Instruct | GGUF Q4_K_M (Hugging Face)gguf-q4_k_m · llama.cpp | 8.192 | 8.192 | 8192 Roda com folga2,61 GiB–3,11 GiB | Não disponível | |
| Qwen3-1.7B-Base | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Roda com folga2,03 GiB–2,49 GiB | Não disponível | |
| Qwen3-1.7B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 40.960 | 40.960 | 8192 Roda com folga2,03 GiB–2,49 GiB | Não disponível | |
| Qwen2.5-3B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Roda com folga2,37 GiB–2,80 GiB | Não disponível | |
| Qwen2.5-Coder-3B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 32.768 | 32.768 | 8192 Roda com folga2,37 GiB–2,80 GiB | Não disponível | |
| Qwen2.5-VL-3B-Instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 107.979 | 128.000 | 8192 Roda com folga2,20 GiB–2,63 GiB | Não disponível | |
| Phi-3.5-mini-instruct | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 8.999 | 12.687 | 8192 Cabe5,35 GiB–5,98 GiB | Não disponível | |
| Phi-4-mini-instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 26.282 | 37.308 | 8192 Roda com folga3,45 GiB–3,94 GiB | Não disponível | |
| Qwen3-4B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 23.326 | 33.126 | 8192 Roda com folga3,58 GiB–4,08 GiB | Não disponível | |
| Qwen3-4B-Instruct-2507 | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 23.326 | 33.126 | 8192 Roda com folga3,58 GiB–4,08 GiB | Não disponível | |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT)gguf-q4_0 · llama.cpp | 131.072 | 131.072 | 8192 Roda com folga3,33 GiB–3,79 GiB | Não disponível | |
| Qwen3-VL-4B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 23.326 | 33.126 | 8192 Roda com folga3,58 GiB–4,08 GiB | Não disponível | |
| Mistral-7B-Instruct-v0.3 | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 12.602 | 22.958 | 8192 Cabe5,20 GiB–5,72 GiB | Não disponível | |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 23.647 | 47.065 | 8192 Cabe4,92 GiB–5,42 GiB | Não disponível | |
| OpenMath-Nemotron-7B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 23.647 | 47.065 | 8192 Cabe4,92 GiB–5,42 GiB | Não disponível | |
| Qwen2-7B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 23.647 | 32.768 | 8192 Cabe4,92 GiB–5,42 GiB | Não disponível | |
| Qwen2.5-7B-Instruct | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 23.647 | 32.768 | 8192 Cabe4,92 GiB–5,42 GiB | Não disponível | |
| Qwen2.5-Coder-7B | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 23.647 | 32.768 | 8192 Cabe4,92 GiB–5,42 GiB | Não disponível | |
| Qwen2.5-Coder-7B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 23.647 | 32.768 | 8192 Cabe4,92 GiB–5,42 GiB | Não disponível | |
| Qwen2.5-Math-7B-Instruct | GGUF Q4_K_M (bartowski)gguf-q4_k_m · llama.cpp | 4.096 | 4.096 | 8192 Cabe · Estimativa grosseira4,92 GiB–6,23 GiB | Não disponível | |
| DeepSeek-R1-Distill-Llama-8B | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 8.617 | 18.777 | 8192 Cabe5,71 GiB–6,24 GiB | Não disponível | |
| granite-3.3-8b-instruct | GGUF Q4_K_M (IBM)gguf-q4_k_m · llama.cpp | 7.096 | 14.887 | 8192 Apertado5,98 GiB–6,53 GiB | Não disponível | |
| Qwen3-8B | GGUF Q4_K_Mgguf-q4_k_m · llama.cpp | 7.309 | 15.965 | 8192 Apertado5,93 GiB–6,48 GiB | Não disponível | |
| Qwen3-8B-Base | GGUF Q4_K_M (mradermacher)gguf-q4_k_m · llama.cpp | 7.309 | 15.965 | 8192 Apertado5,93 GiB–6,48 GiB | Não disponível | |
| Qwen2.5-VL-7B-Instruct | GGUF Q4_K_M (Unsloth)gguf-q4_k_m · llama.cpp | 23.647 | 47.065 | 8192 Cabe4,92 GiB–5,42 GiB | Não disponível | |
| Qwen3-VL-8B-Instruct | GGUF Q4_K_M (Qwen)gguf-q4_k_m · llama.cpp | 7.309 | 15.965 | 8192 Apertado5,93 GiB–6,48 GiB | Não disponível |