Qwen3-Next-80B-A3B-Instruct Q4_K_M: VRAM necessária 47,29 GiB

VRAM necessária 47,29 GiB. Qwen3-Next-80B-A3B-Instruct Q4_K_M em 8.192 tokens é uma estimativa de 45,96 GiB–47,29 GiB para rodar um LLM local. Repositório Qwen/Qwen3-Next-80B-A3B-Instruct. Arquivo de 48.410.988.384 bytes. Sem GPU, isto é demanda, não se cabe.

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (Qwen): 45,96 GiB–47,29 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Roda em

Publicador e procedência

Este MoE tem 81.324.862.720 parâmetros totais e 3.000.000.000 ativos. O compute ativo não é a residência dos pesos. A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact
45,09 GiB (48.410.988.384 bytes)
Raw KV cache
0,75 GiB (805.306.368 bytes)
Engine extras / workspace
0,13 GiB–1,45 GiB
Total estimated demand
45,96 GiB–47,29 GiB

Arquivos contados

QuantizaçãoArquivos contadosBytesMotor de execuçãoEvidência
BF16 safetensors
bf16
41 shards safetensors
Total de bytes selecionados: 162.649.725.440 (151,48 GiB / 162,65 GB)
Primeiro shard: model-00001-of-00041.safetensors
Último shard: model-00041-of-00041.safetensors
Ver todos os 41 arquivos de shard
  • model-00001-of-00041.safetensors
  • model-00002-of-00041.safetensors
  • model-00003-of-00041.safetensors
  • model-00004-of-00041.safetensors
  • model-00005-of-00041.safetensors
  • model-00006-of-00041.safetensors
  • model-00007-of-00041.safetensors
  • model-00008-of-00041.safetensors
  • model-00009-of-00041.safetensors
  • model-00010-of-00041.safetensors
  • model-00011-of-00041.safetensors
  • model-00012-of-00041.safetensors
  • model-00013-of-00041.safetensors
  • model-00014-of-00041.safetensors
  • model-00015-of-00041.safetensors
  • model-00016-of-00041.safetensors
  • model-00017-of-00041.safetensors
  • model-00018-of-00041.safetensors
  • model-00019-of-00041.safetensors
  • model-00020-of-00041.safetensors
  • model-00021-of-00041.safetensors
  • model-00022-of-00041.safetensors
  • model-00023-of-00041.safetensors
  • model-00024-of-00041.safetensors
  • model-00025-of-00041.safetensors
  • model-00026-of-00041.safetensors
  • model-00027-of-00041.safetensors
  • model-00028-of-00041.safetensors
  • model-00029-of-00041.safetensors
  • model-00030-of-00041.safetensors
  • model-00031-of-00041.safetensors
  • model-00032-of-00041.safetensors
  • model-00033-of-00041.safetensors
  • model-00034-of-00041.safetensors
  • model-00035-of-00041.safetensors
  • model-00036-of-00041.safetensors
  • model-00037-of-00041.safetensors
  • model-00038-of-00041.safetensors
  • model-00039-of-00041.safetensors
  • model-00040-of-00041.safetensors
  • model-00041-of-00041.safetensors
162.649.725.440 (151,48 GiB / 162,65 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q4_K_M (Qwen)
gguf-q4_k_m
Qwen3-Next-80B-A3B-Instruct-Q4_K_M.gguf48.410.988.384 (45,09 GiB / 48,41 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (Qwen)
gguf-q5_k_m
Qwen3-Next-80B-A3B-Instruct-Q5_K_M.gguf56.710.369.120 (52,82 GiB / 56,71 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (Qwen)
gguf-q6_k
Qwen3-Next-80B-A3B-Instruct-Q6_K.gguf65.528.461.152 (61,03 GiB / 65,53 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Qwen)
gguf-q8_0
Qwen3-Next-80B-A3B-Instruct-Q8_0.gguf84.812.052.320 (78,99 GiB / 84,81 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNenhum arquivo publicado40.662.431.360 (Linhas teóricas não são artefactos descarregáveis.)—theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização2.048 tokens8.192 tokens32.768 tokens
BF16 safetensors152,29 GiB–154,17 GiB152,85 GiB–154,75 GiB155,10 GiB–157,07 GiB
GGUF Q4_K_M (Qwen)45,40 GiB–46,68 GiB45,96 GiB–47,29 GiB48,21 GiB–49,70 GiB
GGUF Q5_K_M (Qwen)53,13 GiB–54,56 GiB53,69 GiB–55,17 GiB55,94 GiB–57,58 GiB
GGUF Q6_K (Qwen)61,34 GiB–62,94 GiB61,90 GiB–63,55 GiB64,15 GiB–65,96 GiB
GGUF Q8_0 (Qwen)79,30 GiB–81,26 GiB79,86 GiB–81,87 GiB82,11 GiB–84,28 GiB
INT4 theoretical
Linhas teóricas não são artefactos descarregáveis.
38,18 GiB–49,57 GiB38,74 GiB–50,27 GiB40,99 GiB–53,04 GiB

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (2), não query heads (16).

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Premissas que afetam o resultado

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Quantização

Tipo de dispositivo

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.