¿Qué LLM locales caben en 8 GB de VRAM? (oct 2026)

GeForce RTX 3060 8GB (desktop) es la SKU del catálogo con el menor presupuesto neto en este tramo discreto de 8 GB: 7,00 GiB tras la reserva documentada. 32 modelos del catálogo caben con un artefacto con archivo. El mes sale del conjunto 2026-10-02.1 (oct 2026), no del reloj de compilación.

Conjunto de datos 2026-10-02.1 (oct 2026).

SKU del catálogo en este tramo

Tarjeta	Capacidad anunciada	Presupuesto neto
GeForce RTX 3060 8GB (desktop) Menor presupuesto neto	8 GB GDDR6	7,00 GiB
GeForce RTX 3070 8GB (desktop)	8 GB GDDR6	7,00 GiB
GeForce RTX 4060 8GB (desktop)	8 GB GDDR6	7,00 GiB
GeForce RTX 5060 Ti 8GB (desktop)	8 GB GDDR7	7,00 GiB

Modelos del catálogo que caben

Cada fila es un artefacto con archivo en la tarjeta de referencia. Una cuantización ausente no se sustituye. La búsqueda de contexto termina en el tope documentado. Si ese tope no existe, el veredicto es solo a 8192 tokens.

Si el catálogo no trae ancho de banda, el techo de decodificación dice no disponible. Eso no es un veredicto de memoria.

Modelo	Artefacto	Contexto máximo que cabe	Contexto máximo incluyendo justo	Veredicto a 8192 tokens	Techo de decodificación	Enlaces
Qwen2.5-0.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 0,68 GiB–1,07 GiB	No disponible
Qwen3-0.6B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Cabe con holgura 1,37 GiB–1,81 GiB	No disponible
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 1,10 GiB–1,50 GiB	No disponible
Llama 3.2 1B Instruct	Official BF16 safetensors `bf16` · `vllm`	47.659	131.072	8192 Cabe 3,18 GiB–5,06 GiB	No disponible
Qwen2.5-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 1,38 GiB–1,80 GiB	No disponible
Qwen2.5-Coder-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 1,38 GiB–1,80 GiB	No disponible
SmolLM2-1.7B-Instruct	GGUF Q4_K_M (Hugging Face) `gguf-q4_k_m` · `llama.cpp`	8192	8192	8192 Cabe con holgura 2,61 GiB–3,11 GiB	No disponible
Qwen3-1.7B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 2,03 GiB–2,49 GiB	No disponible
Qwen3-1.7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40.960	40.960	8192 Cabe con holgura 2,03 GiB–2,49 GiB	No disponible
Qwen2.5-3B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 2,37 GiB–2,80 GiB	No disponible
Qwen2.5-Coder-3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32.768	32.768	8192 Cabe con holgura 2,37 GiB–2,80 GiB	No disponible
Qwen2.5-VL-3B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	107.979	128.000	8192 Cabe con holgura 2,20 GiB–2,63 GiB	No disponible
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	8999	12.687	8192 Cabe 5,35 GiB–5,98 GiB	No disponible	Phi-3.5-mini-instruct · GeForce RTX 4060 8GB (desktop)
Phi-4-mini-instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	26.282	37.308	8192 Cabe con holgura 3,45 GiB–3,94 GiB	No disponible
Qwen3-4B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	23.326	33.126	8192 Cabe con holgura 3,58 GiB–4,08 GiB	No disponible
Qwen3-4B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23.326	33.126	8192 Cabe con holgura 3,58 GiB–4,08 GiB	No disponible
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131.072	131.072	8192 Cabe con holgura 3,33 GiB–3,79 GiB	No disponible
Qwen3-VL-4B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23.326	33.126	8192 Cabe con holgura 3,58 GiB–4,08 GiB	No disponible
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	12.602	22.958	8192 Cabe 5,20 GiB–5,72 GiB	No disponible
DeepSeek-R1-Distill-Qwen-7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23.647	47.065	8192 Cabe 4,92 GiB–5,42 GiB	No disponible
OpenMath-Nemotron-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	23.647	47.065	8192 Cabe 4,92 GiB–5,42 GiB	No disponible
Qwen2-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23.647	32.768	8192 Cabe 4,92 GiB–5,42 GiB	No disponible
Qwen2.5-7B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	23.647	32.768	8192 Cabe 4,92 GiB–5,42 GiB	No disponible	Qwen2.5-7B-Instruct · GeForce RTX 4060 8GB (desktop)
Qwen2.5-Coder-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	23.647	32.768	8192 Cabe 4,92 GiB–5,42 GiB	No disponible
Qwen2.5-Coder-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	23.647	32.768	8192 Cabe 4,92 GiB–5,42 GiB	No disponible
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	4096	4096	8192 Cabe · Estimación aproximada 4,92 GiB–6,23 GiB	No disponible
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	8617	18.777	8192 Cabe 5,71 GiB–6,24 GiB	No disponible
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM) `gguf-q4_k_m` · `llama.cpp`	7096	14.887	8192 Ajustado 5,98 GiB–6,53 GiB	No disponible
Qwen3-8B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	7309	15.965	8192 Ajustado 5,93 GiB–6,48 GiB	No disponible
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	7309	15.965	8192 Ajustado 5,93 GiB–6,48 GiB	No disponible
Qwen2.5-VL-7B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	23.647	47.065	8192 Cabe 4,92 GiB–5,42 GiB	No disponible
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	7309	15.965	8192 Ajustado 5,93 GiB–6,48 GiB	No disponible