Drama 3 の VRAM・メモリ要件
出典付きの構成と、選択した重みファイルに基づく具体的なチェックポイントです。 Unofficial int4 W4A16 (GPTQ-Marlin, with codec)：8,192 トークンで約 22.61 GiB–26.64 GiB、シーケンス 1、FP16 KV、sglang。
これは見積もりであり、実機トレースではありません。未確認ファイル由来の重み
公開元と出典
- 提供元Fish Audio
- Hugging Face
fishaudio/drama-3 - Revision
e0a9218aa48888270f06ef1ed9ea67622c0e17d2 - 総パラメータ数35,899,643,008
- アクティブパラメータ数3,000,000,000
- 層数40
- クエリヘッド16
- KVヘッド2 (hybrid)
- ヘッド次元256
- 記録されているコンテキスト上限262,144
- 完全性partial · partial
この MoE は総パラメータ 35,899,643,008、アクティブ 3,000,000,000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
この見積もりのメモリ内訳
ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。
- Weight artifact
- 22.33 GiB (23,971,918,496 bytes)
- Raw KV cache
- 0.16 GiB (167,772,160 bytes)
- Engine extras / workspace
- 0.12 GiB–4.16 GiB
- Total estimated demand
- 22.61 GiB–26.64 GiB
計上したファイル
| 量子化 | 計上したファイル | バイト | 実行エンジン | 根拠 |
|---|---|---|---|---|
| Official checkpoint (FP8 experts + BF16, with codec) fp8-experts-bf16 | 41,465,995,344 (38.62 GiB / 41.47 GB) | sglang, unspecified | file-metadata | |
| Unofficial int4 W4A16 (GPTQ-Marlin, with codec) int4-w4a16-community | 23,971,918,496 (22.33 GiB / 23.97 GB) | sglang, unspecified | file-metadata |
量子化とコンテキストごとのメモリ
同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。
| 量子化 | 2,048 tokens | 8,192 tokens | 32,768 tokens |
|---|---|---|---|
| Official checkpoint (FP8 experts + BF16, with codec) | 38.78 GiB–45.25 GiB | 38.90 GiB–45.38 GiB | 39.37 GiB–45.92 GiB |
| Unofficial int4 W4A16 (GPTQ-Marlin, with codec) | 22.49 GiB–26.51 GiB | 22.61 GiB–26.64 GiB | 23.08 GiB–27.18 GiB |
KV Cache（生データ）
関連ページ
出典
- 出典
- 出典 — revision e0a9218aa48888270f06ef1ed9ea67622c0e17d2; 40 text layers (30 linear_attention + 10 full_attention), 16 query / 2 KV heads, head_dim 256, hidden 2048, 256 experts, 8 per token.
- 出典 — metadata.total_size=39594895616
- 出典 — Engine weights 37.0 GB (FP8) / 20.8 GB (int4); default engine memory share 0.70; reference audio up to 60 s; prompt up to 8192 rows.
- 出典 — Unofficial int4 W4A16 checkpoint; GPTQ-Marlin needs compute capability 8.0+.
結果を左右する前提
- 要求コンテキストは記録上のネイティブ窓 262144 トークン以内です。
- 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
- この MoE は総パラメータ 35899643008、アクティブ 3000000000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。
- ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
- ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
- ウェイトバイトは公開済み safetensors シャード 13 個、合計 23971918496 バイトです。
- コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
- 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
計算機
公開カタログスナップショットを読み込み中…
検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。
検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。