Dá para rodar Qwen2.5-3B-Instruct em RTX 4090?

Sim, com folga Qwen2.5-3B-Instruct com Q4_K_M precisa de 2,37 GiB–2,80 GiB com contexto de 8.192 tokens. A RTX 4090 tem cerca de 22 GiB utilizáveis.

Arquivo: qwen2.5-3b-instruct-q4_k_m.gguf (2,1 GB).

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

Quanta folga sobra

Outros arquivos nesta GPU

QuantizaçãoTamanho do arquivoEngineTotalAjuste
BF16 safetensors6,2 GBvllm6,7 GiB–8,5 GiBRoda com folga
GGUF Q8_03,6 GBllama.cpp3,8 GiB–4,2 GiBRoda com folga
GGUF Q6_K (Qwen)2,8 GBllama.cpp3,0 GiB–3,5 GiBRoda com folga
GGUF Q5_K_M2,4 GBllama.cpp2,7 GiB–3,1 GiBRoda com folga
GGUF Q4_K_M Configuração atual2,1 GBllama.cpp2,4 GiB–2,8 GiBRoda com folga

Mesmo contexto (8.192 tokens), um chat por vez, cada arquivo com sua engine habitual.

Configuração usada

Identificadores técnicos e dados de compartilhamento
  • Modeloqwen2.5-3b-instruct
  • Hardwarenvidia-geforce-rtx-4090-24gb-desktop
  • Quantizaçãogguf-q4_k_m
  • Código para compartilhar esta configuraçãov2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtM2ItaW5zdHJ1Y3QiLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTQwOTAtMjRnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZ2d1Zi1xNF9rX20iLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJsbGFtYS5jcHAiLCJrdlR5cGUiOiJmcDE2In19
Como este número é calculado

Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.

Pesos (arquivo)
1,96 GiB (2.104.932.768 bytes)
Cache KV
0,28 GiB (301.989.888 bytes)
Buffers de execução
0,13 GiB–0,56 GiB
Total
2,37 GiB–2,80 GiB
Memória utilizável
22,00 GiB
Reserva de sistema / tela
2,00 GiB
Sobra
19,20 GiB–19,63 GiB

estimativa alta 2,80 GiB com 22,00 GiB disponíveis

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

  • O contexto pedido cabe na janela nativa de 32768 tokens.
  • Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
  • Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
  • O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
  • Arquivos contados: qwen2.5-3b-instruct-q4_k_m.gguf.
  • O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
  • Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
  • A precisão do cache KV não depende da quantização dos pesos, a não ser que você mude.
Abrir esta combinação na calculadoraCache KV

Páginas relacionadas

Fontes

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; o link de compartilhamento guarda essa identidade.

A carregar o snapshot do catálogo…

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções
Quantização
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Escolha um modelo para ver quanta memória ele precisa.