gpt-oss-120b: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. MXFP4 safetensors: 61,68 GiB–63,56 GiB em 8.192 tokens, 1 sequência, KV FP16, vllm.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Publicador e procedência

Este MoE tem 116.829.156.672 parâmetros totais e 5.100.000.000 ativos. O compute ativo não é a residência dos pesos. A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact
60,77 GiB (65.248.815.744 bytes)
Raw KV cache
0,29 GiB (306.708.480 bytes)
Engine extras / workspace
0,63 GiB–2,51 GiB
Total estimated demand
61,68 GiB–63,56 GiB

Arquivos contados

QuantizaçãoArquivos contadosBytesMotor de execuçãoEvidência
MXFP4 safetensors
mxfp4
15 shards safetensors
Total de bytes selecionados: 65.248.815.744 (60,77 GiB / 65,25 GB)
Primeiro shard: model-00000-of-00014.safetensors
Último shard: model-00014-of-00014.safetensors
Ver todos os 15 arquivos de shard
  • model-00000-of-00014.safetensors
  • model-00001-of-00014.safetensors
  • model-00002-of-00014.safetensors
  • model-00003-of-00014.safetensors
  • model-00004-of-00014.safetensors
  • model-00005-of-00014.safetensors
  • model-00006-of-00014.safetensors
  • model-00007-of-00014.safetensors
  • model-00008-of-00014.safetensors
  • model-00009-of-00014.safetensors
  • model-00010-of-00014.safetensors
  • model-00011-of-00014.safetensors
  • model-00012-of-00014.safetensors
  • model-00013-of-00014.safetensors
  • model-00014-of-00014.safetensors
65.248.815.744 (60,77 GiB / 65,25 GB)vllm, unspecifiedfile-metadata
INT4 theoreticalNenhum arquivo publicado58.414.578.336 (Linhas teóricas não são artefactos descarregáveis.)—theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização2.048 tokens8.192 tokens32.768 tokens
MXFP4 safetensors61,47 GiB–63,34 GiB61,68 GiB–63,56 GiB62,52 GiB–64,43 GiB
INT4 theoretical
Linhas teóricas não são artefactos descarregáveis.
54,60 GiB–70,73 GiB54,81 GiB–71,00 GiB55,66 GiB–72,04 GiB

Cache KV (dados brutos)

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Premissas que afetam o resultado

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Quantização

Tipo de dispositivo

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.