Qwen2.5-72B-Instruct

Qwen · Qwen/Qwen2.5-72B-Instruct · gqa · full

Quantização2.0488.19232.768
BF16 safetensors136,11 GiB–136,68 GiB137,99 GiB–138,55 GiB145,49 GiB–146,05 GiB
GGUF Q4_K_M41,68 GiB–42,24 GiB43,55 GiB–44,11 GiB51,05 GiB–51,61 GiB
INT4 theoretical34,54 GiB–38,49 GiB36,42 GiB–40,36 GiB43,92 GiB–47,86 GiB

Escolha o modelo e as opções para ver a demanda de memória.

Configurações avançadas

GiB (2^30 bytes)

Estrutura de modelo personalizada

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Estimativa

Indeterminado

Falta orçamento ou dado essencial, ou este modo de implantação não pode ser julgado nesta versão.

Faixa estimada de memória: 43,61 GiB – 44,98 GiB

Os pesos usam metadados dos arquivos escolhidos. O extra de execução continua estimado.

Pesos40,99 GiB
Cache KV (dados brutos)2,50 GiB
Extras de KV (metadados de quantização etc.)0,00 GiB
Ativações / área de trabalho0,06 GiB
Reserva do motor0,06 GiB
Margem de segurança0,00 GiB

Compatibilidade de software

Suporte documentado. Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Premissas que afetam o resultado

  • A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
  • Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
  • O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
  • Arquivos contados: qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00002-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00003-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00004-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00005-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00006-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00007-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00008-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00009-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00010-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00011-of-00012.gguf, qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf.
  • O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
  • Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
  • O tipo da KV é independente da quantização dos pesos, a menos que você mude.
  • Usando 8 heads KV, não 64 de consulta.
  • O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
  • A reserva do motor não é o uso real de pesos e KV.
  • Os buffers do llama.cpp crescem com contexto e batch. São cenários ajustáveis, não medições — salvo uma calibração correspondente.

Método de cálculo

Recalcular com estas mudanças