Dá para rodar Qwen3-30B-A3B em RTX 4090?

Sim Qwen3-30B-A3B com Q4_K_M precisa de 18,16 GiB–18,93 GiB com contexto de 8.192 tokens. A RTX 4090 tem cerca de 22 GiB utilizáveis.

Arquivo: Qwen3-30B-A3B-Q4_K_M.gguf (18,6 GB).

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

Quanta folga sobra

Outros arquivos nesta GPU

QuantizaçãoTamanho do arquivoEngineTotalAjuste
BF16 safetensors61,1 GBvllm58,2 GiB–60,1 GiBNão cabe
GGUF Q8_032,5 GBllama.cpp31,1 GiB–32,2 GiBNão cabe
GGUF Q6_K (Qwen)25,1 GBllama.cpp24,2 GiB–25,1 GiBNão cabe
GGUF Q5_K_M (Qwen)21,7 GBllama.cpp21,1 GiB–21,9 GiBApertado
GGUF Q4_K_M Configuração atual18,6 GBllama.cpp18,2 GiB–18,9 GiBCabe

Mesmo contexto (8.192 tokens), um chat por vez, cada arquivo com sua engine habitual.

Configuração usada

Identificadores técnicos e dados de compartilhamento
  • Modeloqwen3-30b-a3b
  • Hardwarenvidia-geforce-rtx-4090-24gb-desktop
  • Quantizaçãogguf-q4_k_m
  • Código para compartilhar esta configuraçãov2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLTMwYi1hM2IiLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTQwOTAtMjRnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZ2d1Zi1xNF9rX20iLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJsbGFtYS5jcHAiLCJrdlR5cGUiOiJmcDE2In19
Como este número é calculado

Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.

Pesos (arquivo)
17,28 GiB (18.556.685.824 bytes)
Cache KV
0,75 GiB (805.306.368 bytes)
Buffers de execução
0,13 GiB–0,90 GiB
Total
18,16 GiB–18,93 GiB
Memória utilizável
22,00 GiB
Reserva de sistema / tela
2,00 GiB
Sobra
3,07 GiB–3,84 GiB

estimativa alta 18,93 GiB com 22,00 GiB disponíveis

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

  • O contexto pedido cabe na janela nativa de 40960 tokens.
  • Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
  • Este MoE tem 30532122624 parâmetros totais e 3300000000 ativos. O compute ativo não é a residência dos pesos.
  • Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
  • O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
  • Arquivos contados: Qwen3-30B-A3B-Q4_K_M.gguf.
  • O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
  • Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
Abrir esta combinação na calculadoraCache KV

Páginas relacionadas

Fontes

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; o link de compartilhamento guarda essa identidade.

A carregar o snapshot do catálogo…

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções
Quantização
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Escolha um modelo para ver quanta memória ele precisa.