Drama 3: requisitos de VRAM y memoria
Puntos de control concretos, con arquitectura y archivos de pesos con fuente. Unofficial int4 W4A16 (GPTQ-Marlin, with codec): 22,61 GiB–26,64 GiB a 8192 tokens, 1 secuencia, KV FP16, sglang.
Editor y procedencia
- ProveedorFish Audio
- Hugging Face
fishaudio/drama-3 - Revision
e0a9218aa48888270f06ef1ed9ea67622c0e17d2 - Parámetros totales35.899.643.008
- Parámetros activos3.000.000.000
- Capas40
- Cabezas de consulta16
- Cabezas KV2 (hybrid)
- Dimensión de cabeza256
- Contexto documentado262.144
- Integridadpartial · partial
Este MoE declara 35.899.643.008 parámetros totales y 3.000.000.000 activos. El cómputo activo no es la residencia de pesos. La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Capas de memoria de esta estimación
Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.
- Weight artifact
- 22,33 GiB (23.971.918.496 bytes)
- Raw KV cache
- 0,16 GiB (167.772.160 bytes)
- Engine extras / workspace
- 0,12 GiB–4,16 GiB
- Total estimated demand
- 22,61 GiB–26,64 GiB
Archivos contados
| Cuantización | Archivos contados | Bytes | Motor | Evidencia |
|---|---|---|---|---|
| Official checkpoint (FP8 experts + BF16, with codec) fp8-experts-bf16 | 41.465.995.344 (38,62 GiB / 41,47 GB) | sglang, unspecified | file-metadata | |
| Unofficial int4 W4A16 (GPTQ-Marlin, with codec) int4-w4a16-community | 23.971.918.496 (22,33 GiB / 23,97 GB) | sglang, unspecified | file-metadata |
Memoria por cuantización y contexto
Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.
| Cuantización | 2048 tokens | 8192 tokens | 32.768 tokens |
|---|---|---|---|
| Official checkpoint (FP8 experts + BF16, with codec) | 38,78 GiB–45,25 GiB | 38,90 GiB–45,38 GiB | 39,37 GiB–45,92 GiB |
| Unofficial int4 W4A16 (GPTQ-Marlin, with codec) | 22,49 GiB–26,51 GiB | 22,61 GiB–26,64 GiB | 23,08 GiB–27,18 GiB |
Caché KV (datos brutos)
Páginas relacionadas
Fuentes
- Drama 3 model card — 35B parameters, 3B active per token; FP8 MoE experts, remaining weights bf16; license: Fish Audio Community License.
- config.json — revision e0a9218aa48888270f06ef1ed9ea67622c0e17d2; 40 text layers (30 linear_attention + 10 full_attention), 16 query / 2 KV heads, head_dim 256, hidden 2048, 256 experts, 8 per token.
- safetensors index — metadata.total_size=39594895616
- Drama 3 SGLang Omni cookbook — Engine weights 37.0 GB (FP8) / 20.8 GB (int4); default engine memory share 0.70; reference audio up to 60 s; prompt up to 8192 rows.
- fishaudio/drama-3-int4 — Unofficial int4 W4A16 checkpoint; GPTQ-Marlin needs compute capability 8.0+.
Hipótesis que afectan al resultado
- El contexto pedido cabe en la ventana nativa de 262144 tokens.
- La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
- Este MoE declara 35899643008 parámetros totales y 3000000000 activos. El cómputo activo no es la residencia de pesos.
- Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
- El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
- Los bytes de pesos provienen de 13 fragmentos safetensors publicados que suman 23971918496 bytes.
- El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
- Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
Calculadora
Cargando la instantánea del catálogo…
Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.