Qwen3-VL-8B-Instruct em RTX 4070: Roda com folga — set. de 2026
Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão. Configuração desta página: GGUF Q4_K_M (Qwen), 8.192 tokens em cache, 1 sequência, motor llama.cpp. Status: Provavelmente cabe. Software: Não verificado..
Configuração fixa da página
- ModeloQwen3-VL-8B-Instruct
- HardwareGeForce RTX 4070 12GB (desktop, GDDR6X)
- QuantizaçãoGGUF Q4_K_M (Qwen)
- Tamanho de contexto (tokens em cache)8.192
- Motor de execução
llama.cpp - Sequências simultâneas1
- Tipo do cache KVfp16
Identificadores técnicos e dados de compartilhamento
- Modelo
qwen3-vl-8b-instruct - Hardware
nvidia-geforce-rtx-4070-12gb-desktop - Quantização
gguf-q4_k_m - Fragmento para compartilhar esta identidade
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLXZsLThiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC00MDcwLTEyZ2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Composição da memória
- Weight artifact
- 4,68 GiB (5.027.784.800 bytes)
- Raw KV cache
- 1,13 GiB (1.207.959.552 bytes)
- Engine extras / workspace
- 0,13 GiB–0,67 GiB
- Total estimated demand
- 5,93 GiB–6,48 GiB
- Net calculator budget
- 11,00 GiB
- OS / display reserve
- 1,00 GiB
- Remaining vs net budget
- 4,52 GiB–5,07 GiB
estimativa alta 6,48 GiB contra 11,00 GiB líquidos
Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
Outros arquivos publicados neste dispositivo
Mesmo modelo, dispositivo e contexto (8.192 tokens, 1 sequência, KV em FP16). Cada linha é um conjunto de arquivos de pesos publicado com seu motor habitual, ordenado por memória.
| Quantização | Motor de execução | Memória estimada | Ajuste |
|---|---|---|---|
| BF16 safetensors | vllm | 18,08 GiB–19,99 GiB | Não cabe |
| GGUF Q8_0 (Qwen) | llama.cpp | 9,36 GiB–9,98 GiB | Apertado |
| GGUF Q6_K (Unsloth) | llama.cpp | 7,51 GiB–8,09 GiB | Cabe |
| GGUF Q5_K_M (Unsloth) | llama.cpp | 6,70 GiB–7,26 GiB | Roda com folga |
| GGUF Q4_K_M (Qwen) Esta página | llama.cpp | 5,93 GiB–6,48 GiB | Roda com folga |
Premissas que afetam o resultado
- O contexto pedido cabe na janela nativa de 262144 tokens.
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: Qwen3VL-8B-Instruct-Q4_K_M.gguf.
- Há componente de visão. Inferência só de texto não inclui encoder/projector.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
Páginas relacionadas
Fontes
- Qwen3-VL-8B-Instruct model card
- config.json — revision 0c351dd01ed87e9c1b53cbc748cba10e6187ff3b
- safetensors index — metadata.total_size=17534247392
- Artifact repo Qwen/Qwen3-VL-8B-Instruct-GGUF
- Artifact repo unsloth/Qwen3-VL-8B-Instruct-GGUF
- NVIDIA GeForce RTX 40 Series specs — Original 12 GB GDDR6X SKU, not the later GDDR6 variant
Calculadora
Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; a partilha guarda essa identidade.
A carregar o snapshot do catálogo…
Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.