Qwen3-VL-8B-Instruct en RTX 4070: Cabe con holgura, sept 2026
Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión. Configuración de esta página: GGUF Q4_K_M (Qwen), 8192 tokens en caché, 1 secuencia, motor llama.cpp. Estado: Es probable que quepa. Software: No verificado..
Configuración fija de la página
- ModeloQwen3-VL-8B-Instruct
- HardwareGeForce RTX 4070 12GB (desktop, GDDR6X)
- CuantizaciónGGUF Q4_K_M (Qwen)
- Longitud de contexto (tokens en caché)8192
- Motor
llama.cpp - Secuencias simultáneas1
- Tipo de caché KVfp16
Identificadores técnicos y datos para compartir
- Modelo
qwen3-vl-8b-instruct - Hardware
nvidia-geforce-rtx-4070-12gb-desktop - Cuantización
gguf-q4_k_m - Fragmento para compartir esta identidad
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLXZsLThiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC00MDcwLTEyZ2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Desglose de memoria
- Weight artifact
- 4,68 GiB (5.027.784.800 bytes)
- Raw KV cache
- 1,13 GiB (1.207.959.552 bytes)
- Engine extras / workspace
- 0,13 GiB–0,67 GiB
- Total estimated demand
- 5,93 GiB–6,48 GiB
- Net calculator budget
- 11,00 GiB
- OS / display reserve
- 1,00 GiB
- Remaining vs net budget
- 4,52 GiB–5,07 GiB
estimación alta 6,48 GiB frente a 11,00 GiB netos
Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.
Otros archivos publicados en este dispositivo
Mismo modelo, dispositivo y contexto (8192 tokens, 1 secuencia, KV en FP16). Cada fila es un conjunto de archivos de pesos publicado con su motor habitual, ordenado por memoria.
| Cuantización | Motor | Memoria estimada | Ajuste |
|---|---|---|---|
| BF16 safetensors | vllm | 18,08 GiB–19,99 GiB | No cabe |
| GGUF Q8_0 (Qwen) | llama.cpp | 9,36 GiB–9,98 GiB | Ajustado |
| GGUF Q6_K (Unsloth) | llama.cpp | 7,51 GiB–8,09 GiB | Cabe |
| GGUF Q5_K_M (Unsloth) | llama.cpp | 6,70 GiB–7,26 GiB | Cabe con holgura |
| GGUF Q4_K_M (Qwen) Esta página | llama.cpp | 5,93 GiB–6,48 GiB | Cabe con holgura |
Hipótesis que afectan al resultado
- El contexto pedido cabe en la ventana nativa de 262144 tokens.
- La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
- Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
- El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
- Archivos contados: Qwen3VL-8B-Instruct-Q4_K_M.gguf.
- Hay componente de visión. La inferencia de texto no incluye encoder ni projector.
- El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
- Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
Páginas relacionadas
Fuentes
- Qwen3-VL-8B-Instruct model card
- config.json — revision 0c351dd01ed87e9c1b53cbc748cba10e6187ff3b
- safetensors index — metadata.total_size=17534247392
- Artifact repo Qwen/Qwen3-VL-8B-Instruct-GGUF
- Artifact repo unsloth/Qwen3-VL-8B-Instruct-GGUF
- NVIDIA GeForce RTX 40 Series specs — Original 12 GB GDDR6X SKU, not the later GDDR6 variant
Calculadora
Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personalice en la calculadora principal; el enlace conservará esa identidad.
Cargando la instantánea del catálogo…
Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.