Qwen2.5-Coder-32B-Instruct: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (Qwen): 20,61 GiB–21,50 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Publicador e procedência

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact
18,49 GiB (19.851.336.128 bytes)
Raw KV cache
2,00 GiB (2.147.483.648 bytes)
Engine extras / workspace
0,13 GiB–1,01 GiB
Total estimated demand
20,61 GiB–21,50 GiB

Arquivos contados

QuantizaçãoArquivos contadosBytesMotor de execuçãoEvidência
BF16 safetensors
bf16
14 shards safetensors
Total de bytes selecionados: 65.527.752.704 (61,03 GiB / 65,53 GB)
Primeiro shard: model-00001-of-00014.safetensors
Último shard: model-00014-of-00014.safetensors
Ver todos os 14 arquivos de shard
  • model-00001-of-00014.safetensors
  • model-00002-of-00014.safetensors
  • model-00003-of-00014.safetensors
  • model-00004-of-00014.safetensors
  • model-00005-of-00014.safetensors
  • model-00006-of-00014.safetensors
  • model-00007-of-00014.safetensors
  • model-00008-of-00014.safetensors
  • model-00009-of-00014.safetensors
  • model-00010-of-00014.safetensors
  • model-00011-of-00014.safetensors
  • model-00012-of-00014.safetensors
  • model-00013-of-00014.safetensors
  • model-00014-of-00014.safetensors
65.527.752.704 (61,03 GiB / 65,53 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q4_K_M (Qwen)
gguf-q4_k_m
qwen2.5-coder-32b-instruct-q4_k_m-00001-of-00003.gguf, qwen2.5-coder-32b-instruct-q4_k_m-00002-of-00003.gguf, qwen2.5-coder-32b-instruct-q4_k_m-00003-of-00003.gguf19.851.336.128 (18,49 GiB / 19,85 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (Qwen)
gguf-q5_k_m
qwen2.5-coder-32b-instruct-q5_k_m-00001-of-00003.gguf, qwen2.5-coder-32b-instruct-q5_k_m-00002-of-00003.gguf, qwen2.5-coder-32b-instruct-q5_k_m-00003-of-00003.gguf23.262.157.216 (21,66 GiB / 23,26 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (Qwen)
gguf-q6_k
qwen2.5-coder-32b-instruct-q6_k-00001-of-00004.gguf, qwen2.5-coder-32b-instruct-q6_k-00002-of-00004.gguf, qwen2.5-coder-32b-instruct-q6_k-00003-of-00004.gguf, qwen2.5-coder-32b-instruct-q6_k-00004-of-00004.gguf26.886.154.816 (25,04 GiB / 26,89 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Qwen)
gguf-q8_0
5 shards safetensors
Total de bytes selecionados: 34.820.885.152 (32,43 GiB / 34,82 GB)
Primeiro shard: qwen2.5-coder-32b-instruct-q8_0-00001-of-00005.gguf
Último shard: qwen2.5-coder-32b-instruct-q8_0-00005-of-00005.gguf
Ver todos os 5 arquivos de shard
  • qwen2.5-coder-32b-instruct-q8_0-00001-of-00005.gguf
  • qwen2.5-coder-32b-instruct-q8_0-00002-of-00005.gguf
  • qwen2.5-coder-32b-instruct-q8_0-00003-of-00005.gguf
  • qwen2.5-coder-32b-instruct-q8_0-00004-of-00005.gguf
  • qwen2.5-coder-32b-instruct-q8_0-00005-of-00005.gguf
34.820.885.152 (32,43 GiB / 34,82 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNenhum arquivo publicado16.381.938.176 (Linhas teóricas não são artefactos descarregáveis.)—theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização2.048 tokens8.192 tokens32.768 tokens
BF16 safetensors62,15 GiB–64,04 GiB63,65 GiB–65,59 GiB69,65 GiB–71,77 GiB
GGUF Q4_K_M (Qwen)19,11 GiB–19,87 GiB20,61 GiB–21,50 GiB26,61 GiB–27,92 GiB
GGUF Q5_K_M (Qwen)22,29 GiB–23,11 GiB23,79 GiB–24,74 GiB29,79 GiB–31,16 GiB
GGUF Q6_K (Qwen)25,66 GiB–26,55 GiB27,16 GiB–28,18 GiB33,16 GiB–34,60 GiB
GGUF Q8_0 (Qwen)33,05 GiB–34,09 GiB34,55 GiB–35,72 GiB40,55 GiB–42,14 GiB
INT4 theoretical
Linhas teóricas não são artefactos descarregáveis.
15,88 GiB–20,81 GiB17,38 GiB–22,69 GiB23,38 GiB–30,07 GiB

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (8), não query heads (40).

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Premissas que afetam o resultado

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Quantização

Tipo de dispositivo

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.