Drama 3: requisitos de VRAM e memória
Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. Unofficial int4 W4A16 (GPTQ-Marlin, with codec): 22,61 GiB–26,64 GiB em 8.192 tokens, 1 sequência, KV FP16, sglang.
Publicador e procedência
- FornecedorFish Audio
- Hugging Face
fishaudio/drama-3 - Revision
e0a9218aa48888270f06ef1ed9ea67622c0e17d2 - Parâmetros totais35.899.643.008
- Parâmetros ativos3.000.000.000
- Camadas40
- Heads de consulta16
- Heads KV2 (hybrid)
- Dimensão do head256
- Contexto documentado262.144
- Completudepartial · partial
Este MoE tem 35.899.643.008 parâmetros totais e 3.000.000.000 ativos. O compute ativo não é a residência dos pesos. A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Camadas de memória desta estimativa
Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.
- Weight artifact
- 22,33 GiB (23.971.918.496 bytes)
- Raw KV cache
- 0,16 GiB (167.772.160 bytes)
- Engine extras / workspace
- 0,12 GiB–4,16 GiB
- Total estimated demand
- 22,61 GiB–26,64 GiB
Arquivos contados
| Quantização | Arquivos contados | Bytes | Motor de execução | Evidência |
|---|---|---|---|---|
| Official checkpoint (FP8 experts + BF16, with codec) fp8-experts-bf16 | 41.465.995.344 (38,62 GiB / 41,47 GB) | sglang, unspecified | file-metadata | |
| Unofficial int4 W4A16 (GPTQ-Marlin, with codec) int4-w4a16-community | 23.971.918.496 (22,33 GiB / 23,97 GB) | sglang, unspecified | file-metadata |
Memória por quantização e contexto
Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.
| Quantização | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| Official checkpoint (FP8 experts + BF16, with codec) | 38,78 GiB–45,25 GiB | 38,90 GiB–45,38 GiB | 39,37 GiB–45,92 GiB |
| Unofficial int4 W4A16 (GPTQ-Marlin, with codec) | 22,49 GiB–26,51 GiB | 22,61 GiB–26,64 GiB | 23,08 GiB–27,18 GiB |
Cache KV (dados brutos)
Páginas relacionadas
Fontes
- Drama 3 model card — 35B parameters, 3B active per token; FP8 MoE experts, remaining weights bf16; license: Fish Audio Community License.
- config.json — revision e0a9218aa48888270f06ef1ed9ea67622c0e17d2; 40 text layers (30 linear_attention + 10 full_attention), 16 query / 2 KV heads, head_dim 256, hidden 2048, 256 experts, 8 per token.
- safetensors index — metadata.total_size=39594895616
- Drama 3 SGLang Omni cookbook — Engine weights 37.0 GB (FP8) / 20.8 GB (int4); default engine memory share 0.70; reference audio up to 60 s; prompt up to 8192 rows.
- fishaudio/drama-3-int4 — Unofficial int4 W4A16 checkpoint; GPTQ-Marlin needs compute capability 8.0+.
Premissas que afetam o resultado
- O contexto pedido cabe na janela nativa de 262144 tokens.
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- Este MoE tem 35899643008 parâmetros totais e 3000000000 ativos. O compute ativo não é a residência dos pesos.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Os bytes de pesos vêm de 13 shards safetensors publicados, somando 23971918496 bytes.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
Calculadora
A carregar o snapshot do catálogo…
Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.