VRAM necessária para Qwen2.5-72B-Instruct

Qwen2.5-72B-Instruct precisa de cerca de 45 GiB de memória de GPU com Q4_K_M e contexto de 8K. Numa placa de 48 GB como a L40S fica no limite; uma de 80 GB como a A100 tem espaço. Com contexto de 32K precisa de cerca de 53 GiB, o que cabe numa placa de 80 GB.

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

VRAM por quantização

QuantizaçãoTamanho do arquivoTotal com 8KTotal com 32K
BF16 safetensors145,4 GB138,6 GiB–140,5 GiB146,1 GiB–148,2 GiB
GGUF Q8_0 (Qwen)77,5 GB74,8 GiB–76,8 GiB82,3 GiB–84,8 GiB
GGUF Q6_K (Qwen)59,9 GB58,4 GiB–60,0 GiB65,9 GiB–68,1 GiB
GGUF Q5_K_M (Qwen)51,7 GB50,8 GiB–52,3 GiB58,3 GiB–60,3 GiB
GGUF Q4_K_M44,0 GB43,6 GiB–45,0 GiB51,1 GiB–53,0 GiB

Nomes como Q4_K_M e Q8_0 são níveis de quantização: menos bits por peso dão um arquivo menor e um pouco menos de qualidade. Os totais somam o cache KV (memória que cresce com o tamanho do contexto) e os buffers de execução, com um chat por vez. Arquivos para baixar

Quais GPUs conseguem rodar

MemóriaUtilizávelExemplosCom 8KCom 32K
8 GB7,0 GiBRTX 4060, RTX 3060, RTX 5060 Ti +1 outrasNão cabeNão cabe
10 GB9,0 GiBRTX 3080Não cabeNão cabe
12 GB11,0 GiBRTX 4070, RTX 3060, RTX 5070 +2 outrasNão cabeNão cabe
16 GB14,0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT +5 outrasNão cabeNão cabe
16 GB15,0 GiBRTX 4060 Ti, RTX 4070 Ti SUPERNão cabeNão cabe
20 GB18,0 GiBRX 7900 XTNão cabeNão cabe
24 GB22,0 GiBRTX 4090, RX 7900 XTX, RTX 3090Não cabeNão cabe
32 GB30,0 GiBRTX 5090Não cabeNão cabe
48 GB46,0 GiBL40SApertadoNão cabe
80 GB78,0 GiBA100, H100Roda com folgaRoda com folga
64 GB · unificada54,0 GiBApple M2 MaxCabeApertado
128 GB · unificada96,0 GiBRyzen AI Max+ 395Roda com folgaRoda com folga
128 GB · unificada112,0 GiBDGX Spark (GB10)Roda com folgaRoda com folga
128 GB · unificada116,0 GiBApple M4 MaxRoda com folgaRoda com folga

GGUF Q4_K_M, um chat por vez. A memória utilizável é o total menos uma reserva padrão para o sistema e a tela.

Verificações específicas

Arquitetura

O cache KV cresce com o contexto: em FP16 são cerca de 2,5 GiB com 8K e 10 GiB com 32K. O modelo tem 8 cabeças KV para 64 cabeças de consulta (atenção com consultas agrupadas), o que mantém esse cache pequeno.

Perguntas frequentes

O tamanho do download é a VRAM usada?

Não. O arquivo Q4_K_M tem cerca de 41 GiB, mas com contexto de 8K o total fica perto de 45 GiB, porque o cache KV e os buffers de execução se somam aos pesos.

Quanta memória um contexto maior acrescenta?

No Qwen2.5-72B-Instruct o cache KV ocupa cerca de 2,5 GiB com 8K tokens e 10 GiB com 32K em FP16. Os pesos não mudam de tamanho.

Qual quantização devo usar?

Comece com Q4_K_M (cerca de 45 GiB com 8K). Se tiver memória, BF16 precisa de cerca de 140,5 GiB e fica mais perto dos pesos originais.

Arquivos para baixar

QuantizaçãoArquivosTamanho do arquivoEngine
BF16 safetensors
37 shards safetensors
Primeiro shard: model-00001-of-00037.safetensors
Último shard: model-00037-of-00037.safetensors
Ver todos os 37 arquivos de shard
  • model-00001-of-00037.safetensors
  • model-00002-of-00037.safetensors
  • model-00003-of-00037.safetensors
  • model-00004-of-00037.safetensors
  • model-00005-of-00037.safetensors
  • model-00006-of-00037.safetensors
  • model-00007-of-00037.safetensors
  • model-00008-of-00037.safetensors
  • model-00009-of-00037.safetensors
  • model-00010-of-00037.safetensors
  • model-00011-of-00037.safetensors
  • model-00012-of-00037.safetensors
  • model-00013-of-00037.safetensors
  • model-00014-of-00037.safetensors
  • model-00015-of-00037.safetensors
  • model-00016-of-00037.safetensors
  • model-00017-of-00037.safetensors
  • model-00018-of-00037.safetensors
  • model-00019-of-00037.safetensors
  • model-00020-of-00037.safetensors
  • model-00021-of-00037.safetensors
  • model-00022-of-00037.safetensors
  • model-00023-of-00037.safetensors
  • model-00024-of-00037.safetensors
  • model-00025-of-00037.safetensors
  • model-00026-of-00037.safetensors
  • model-00027-of-00037.safetensors
  • model-00028-of-00037.safetensors
  • model-00029-of-00037.safetensors
  • model-00030-of-00037.safetensors
  • model-00031-of-00037.safetensors
  • model-00032-of-00037.safetensors
  • model-00033-of-00037.safetensors
  • model-00034-of-00037.safetensors
  • model-00035-of-00037.safetensors
  • model-00036-of-00037.safetensors
  • model-00037-of-00037.safetensors
145,41 GB
145.412.407.296 bytes
vllm, sglang
GGUF Q8_0 (Qwen)
21 shards safetensors
Primeiro shard: qwen2.5-72b-instruct-q8_0-00001-of-00021.gguf
Último shard: qwen2.5-72b-instruct-q8_0-00021-of-00021.gguf
Ver todos os 21 arquivos de shard
  • qwen2.5-72b-instruct-q8_0-00001-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00002-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00003-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00004-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00005-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00006-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00007-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00008-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00009-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00010-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00011-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00012-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00013-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00014-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00015-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00016-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00017-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00018-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00019-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00020-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00021-of-00021.gguf
77,53 GB
77.530.000.800 bytes
llama.cpp, ollama
GGUF Q6_K (Qwen)
16 shards safetensors
Primeiro shard: qwen2.5-72b-instruct-q6_k-00001-of-00016.gguf
Último shard: qwen2.5-72b-instruct-q6_k-00016-of-00016.gguf
Ver todos os 16 arquivos de shard
  • qwen2.5-72b-instruct-q6_k-00001-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00002-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00003-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00004-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00005-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00006-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00007-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00008-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00009-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00010-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00011-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00012-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00013-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00014-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00015-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00016-of-00016.gguf
59,86 GB
59.861.035.808 bytes
llama.cpp, ollama
GGUF Q5_K_M (Qwen)
14 shards safetensors
Primeiro shard: qwen2.5-72b-instruct-q5_k_m-00001-of-00014.gguf
Último shard: qwen2.5-72b-instruct-q5_k_m-00014-of-00014.gguf
Ver todos os 14 arquivos de shard
  • qwen2.5-72b-instruct-q5_k_m-00001-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00002-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00003-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00004-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00005-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00006-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00007-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00008-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00009-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00010-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00011-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00012-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00013-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00014-of-00014.gguf
51,67 GB
51.673.983.488 bytes
llama.cpp, ollama
GGUF Q4_K_M
12 shards safetensors
Primeiro shard: qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf
Último shard: qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf
Ver todos os 12 arquivos de shard
  • qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00002-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00003-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00004-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00005-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00006-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00007-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00008-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00009-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00010-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00011-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf
44,01 GB
44.010.465.472 bytes
llama.cpp, ollama
Como este número é calculado

Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.

GGUF Q4_K_M · 8.192 tokens · llama.cpp

Pesos (arquivo)
40,99 GiB (44.010.465.472 bytes)
Cache KV
2,50 GiB (2.684.354.560 bytes)
Buffers de execução
0,13 GiB–1,49 GiB
Total
43,61 GiB–44,98 GiB
  • O contexto pedido cabe na janela nativa de 32768 tokens.
  • Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
  • Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
  • O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
  • Os bytes de pesos vêm de 12 shards safetensors publicados, somando 44010465472 bytes.
  • O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
  • Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
  • A precisão do cache KV não depende da quantização dos pesos, a não ser que você mude.

Como calculamos

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Calculadora

A carregar o snapshot do catálogo…

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções
Quantização
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Escolha um modelo para ver quanta memória ele precisa.