gpt-oss-20b: requisitos de VRAM y memoria

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact

12,82 GiB (13.761.264.768 bytes)

Raw KV cache

0,19 GiB (204.472.320 bytes)

Engine extras / workspace

0,63 GiB–2,51 GiB

Total estimated demand

13,63 GiB–15,51 GiB

Archivos contados

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Caché KV (datos brutos)

Páginas relacionadas

• Calculadora de caché KV
• Memoria en 4-bit, 8-bit y FP16 (inglés)
• El tamaño del archivo no es la VRAM en ejecución (inglés)
• Metodología

Fuentes

• gpt-oss-20b model card
• config.json — revision 6cee5e81ee83917806bbde320786a8fb61efebee
• safetensors index — metadata.total_size=13761264768

Hipótesis que afectan al resultado

• El contexto pedido cabe en la ventana nativa de 131072 tokens.
• La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
• Este MoE declara 20914757184 parámetros totales y 3600000000 activos. El cómputo activo no es la residencia de pesos.
• Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
• El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
• Archivos contados: model-00000-of-00002.safetensors, model-00001-of-00002.safetensors, model-00002-of-00002.safetensors.
• El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
• Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.

Calculadora