gpt-oss-120b: requisitos de VRAM y memoria
Puntos de control concretos, con arquitectura y archivos de pesos con fuente. MXFP4 safetensors: 61,68 GiB–63,56 GiB a 8192 tokens, 1 secuencia, KV FP16, vllm.
Editor y procedencia
- ProveedorOpenAI
- Hugging Face
openai/gpt-oss-120b - Revision
b5c939de8f754692c1647ca79fbf85e8c1e70f8a - Parámetros totales116.829.156.672
- Parámetros activos5.100.000.000
- Capas36
- Cabezas de consulta64
- Cabezas KV8 (sliding-window)
- Dimensión de cabeza64
- Contexto documentado131.072
- Integridadcomplete · full
Este MoE declara 116.829.156.672 parámetros totales y 5.100.000.000 activos. El cómputo activo no es la residencia de pesos. La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Capas de memoria de esta estimación
Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.
- Weight artifact
- 60,77 GiB (65.248.815.744 bytes)
- Raw KV cache
- 0,29 GiB (306.708.480 bytes)
- Engine extras / workspace
- 0,63 GiB–2,51 GiB
- Total estimated demand
- 61,68 GiB–63,56 GiB
Archivos contados
| Cuantización | Archivos contados | Bytes | Motor | Evidencia |
|---|---|---|---|---|
| MXFP4 safetensors mxfp4 | 65.248.815.744 (60,77 GiB / 65,25 GB) | vllm, unspecified | file-metadata | |
| INT4 theoretical | No hay archivo publicado | 58.414.578.336 (Las filas teóricas no son artefactos descargables.) | — | theoretical |
Memoria por cuantización y contexto
Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.
| Cuantización | 2048 tokens | 8192 tokens | 32.768 tokens |
|---|---|---|---|
| MXFP4 safetensors | 61,47 GiB–63,34 GiB | 61,68 GiB–63,56 GiB | 62,52 GiB–64,43 GiB |
| INT4 theoretical Las filas teóricas no son artefactos descargables. | 54,60 GiB–70,73 GiB | 54,81 GiB–71,00 GiB | 55,66 GiB–72,04 GiB |
Caché KV (datos brutos)
Páginas relacionadas
Fuentes
- gpt-oss-120b model card
- config.json — revision b5c939de8f754692c1647ca79fbf85e8c1e70f8a
- safetensors index — metadata.total_size=65248815744
Hipótesis que afectan al resultado
- El contexto pedido cabe en la ventana nativa de 131072 tokens.
- La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
- Este MoE declara 116829156672 parámetros totales y 5100000000 activos. El cómputo activo no es la residencia de pesos.
- Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
- El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
- Los bytes de pesos provienen de 15 fragmentos safetensors publicados que suman 65248815744 bytes.
- El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
- Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
Calculadora
Cargando la instantánea del catálogo…
Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.