Drama 3: VRAM- und Speicherbedarf
Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. Unofficial int4 W4A16 (GPTQ-Marlin, with codec): 22,61 GiB–26,64 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, sglang.
Herausgeber und Herkunft
- AnbieterFish Audio
- Hugging Face
fishaudio/drama-3 - Revision
e0a9218aa48888270f06ef1ed9ea67622c0e17d2 - Parameter gesamt35.899.643.008
- Aktive Parameter3.000.000.000
- Schichten40
- Query-Köpfe16
- KV-Köpfe2 (hybrid)
- Kopfdimension256
- Dokumentierte Kontextfähigkeit262.144
- Vollständigkeitpartial · partial
Dieses MoE nennt 35.899.643.008 Gesamt- und 3.000.000.000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz. Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
Speicherschichten in dieser Schätzung
Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.
- Weight artifact
- 22,33 GiB (23.971.918.496 bytes)
- Raw KV cache
- 0,16 GiB (167.772.160 bytes)
- Engine extras / workspace
- 0,12 GiB–4,16 GiB
- Total estimated demand
- 22,61 GiB–26,64 GiB
Gewählte Dateien
| Quantisierung | Gewählte Dateien | Bytes | Laufzeit | Beleg |
|---|---|---|---|---|
| Official checkpoint (FP8 experts + BF16, with codec) fp8-experts-bf16 | 41.465.995.344 (38,62 GiB / 41,47 GB) | sglang, unspecified | file-metadata | |
| Unofficial int4 W4A16 (GPTQ-Marlin, with codec) int4-w4a16-community | 23.971.918.496 (22,33 GiB / 23,97 GB) | sglang, unspecified | file-metadata |
Speicher nach Quantisierung und Kontext
Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.
| Quantisierung | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| Official checkpoint (FP8 experts + BF16, with codec) | 38,78 GiB–45,25 GiB | 38,90 GiB–45,38 GiB | 39,37 GiB–45,92 GiB |
| Unofficial int4 W4A16 (GPTQ-Marlin, with codec) | 22,49 GiB–26,51 GiB | 22,61 GiB–26,64 GiB | 23,08 GiB–27,18 GiB |
KV-Cache (Rohdaten)
Verwandte Seiten
Quellen
- Drama 3 model card — 35B parameters, 3B active per token; FP8 MoE experts, remaining weights bf16; license: Fish Audio Community License.
- config.json — revision e0a9218aa48888270f06ef1ed9ea67622c0e17d2; 40 text layers (30 linear_attention + 10 full_attention), 16 query / 2 KV heads, head_dim 256, hidden 2048, 256 experts, 8 per token.
- safetensors index — metadata.total_size=39594895616
- Drama 3 SGLang Omni cookbook — Engine weights 37.0 GB (FP8) / 20.8 GB (int4); default engine memory share 0.70; reference audio up to 60 s; prompt up to 8192 rows.
- fishaudio/drama-3-int4 — Unofficial int4 W4A16 checkpoint; GPTQ-Marlin needs compute capability 8.0+.
Annahmen, die das Ergebnis beeinflussen
- Der Kontext liegt im dokumentierten nativen Fenster von 262144 Tokens.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Dieses MoE nennt 35899643008 Gesamt- und 3000000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Gewichtbytes stammen aus 13 veröffentlichten Safetensors-Shards, zusammen 23971918496 Bytes.
- Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
Rechner
Katalog-Snapshot wird geladen…
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.