Dá para rodar Qwen3-8B em RTX 4070?
Sim, com folga Qwen3-8B com Q4_K_M precisa de 5,93 GiB–6,48 GiB com contexto de 8.192 tokens. A RTX 4070 tem cerca de 11 GiB utilizáveis.
Arquivo: Qwen3-8B-Q4_K_M.gguf (5,0 GB).
São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos
Quanta folga sobra
- O contexto pode crescer até cerca de 30.720 tokens antes de deixar de caber com folga.
- Um arquivo maior também cabe: GGUF Q6_K (Qwen) precisa de cerca de 8,1 GiB (Cabe).
Outros arquivos nesta GPU
| Quantização | Tamanho do arquivo | Engine | Total | Ajuste |
|---|---|---|---|---|
| BF16 safetensors | 16,4 GB | vllm | 17,0 GiB–18,9 GiB | Não cabe |
| GGUF Q8_0 | 8,7 GB | llama.cpp | 9,4 GiB–10,0 GiB | Apertado |
| GGUF Q6_K (Qwen) | 6,7 GB | llama.cpp | 7,5 GiB–8,1 GiB | Cabe |
| GGUF Q5_K_M (Qwen) | 5,9 GB | llama.cpp | 6,7 GiB–7,3 GiB | Roda com folga |
| GGUF Q4_K_M Configuração atual | 5,0 GB | llama.cpp | 5,9 GiB–6,5 GiB | Roda com folga |
Mesmo contexto (8.192 tokens), um chat por vez, cada arquivo com sua engine habitual.
Configuração usada
- ModeloQwen3-8B
- HardwareGeForce RTX 4070 12GB (desktop, GDDR6X)
- QuantizaçãoGGUF Q4_K_M
- Tamanho de contexto (tokens em cache)8.192
- Motor de execução
llama.cpp - Sequências simultâneas1
- Tipo do cache KVfp16
Identificadores técnicos e dados de compartilhamento
- Modelo
qwen3-8b - Hardware
nvidia-geforce-rtx-4070-12gb-desktop - Quantização
gguf-q4_k_m - Código para compartilhar esta configuração
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLThiIiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC00MDcwLTEyZ2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Como este número é calculado
Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.
- Pesos (arquivo)
- 4,68 GiB (5.027.783.488 bytes)
- Cache KV
- 1,13 GiB (1.207.959.552 bytes)
- Buffers de execução
- 0,13 GiB–0,67 GiB
- Total
- 5,93 GiB–6,48 GiB
- Memória utilizável
- 11,00 GiB
- Reserva de sistema / tela
- 1,00 GiB
- Sobra
- 4,52 GiB–5,07 GiB
estimativa alta 6,48 GiB com 11,00 GiB disponíveis
Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
- O contexto pedido cabe na janela nativa de 40960 tokens.
- Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
- Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
- O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
- Arquivos contados: Qwen3-8B-Q4_K_M.gguf.
- O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- A precisão do cache KV não depende da quantização dos pesos, a não ser que você mude.
Páginas relacionadas
Fontes
- Qwen3-8B model card
- config.json — revision b968826d9c46dd6066d109eabc6255188de91218
- safetensors index — metadata.total_size=16381470720
- Artifact repo Qwen/Qwen3-8B-GGUF
- NVIDIA GeForce RTX 40 Series specs — Original 12 GB GDDR6X SKU, not the later GDDR6 variant
Calculadora
Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; o link de compartilhamento guarda essa identidade.
A carregar o snapshot do catálogo…
Escolha um modelo para ver quanta memória ele precisa.