gpt-oss-20b: requisitos de VRAM e memória

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact

12,82 GiB (13.761.264.768 bytes)

Raw KV cache

0,19 GiB (204.472.320 bytes)

Engine extras / workspace

0,63 GiB–2,51 GiB

Total estimated demand

13,63 GiB–15,51 GiB

Arquivos contados

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Cache KV (dados brutos)

Páginas relacionadas

• Calculadora de cache KV
• Memória em 4-bit, 8-bit e FP16 (inglês)
• Tamanho de arquivo não é VRAM em execução (inglês)
• Metodologia

Fontes

• gpt-oss-20b model card
• config.json — revision 6cee5e81ee83917806bbde320786a8fb61efebee
• safetensors index — metadata.total_size=13761264768

Premissas que afetam o resultado

• O contexto pedido cabe na janela nativa de 131072 tokens.
• A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
• Este MoE tem 20914757184 parâmetros totais e 3600000000 ativos. O compute ativo não é a residência dos pesos.
• Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
• O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
• Arquivos contados: model-00000-of-00002.safetensors, model-00001-of-00002.safetensors, model-00002-of-00002.safetensors.
• O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
• Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.

Calculadora