Mixtral-8x7B-Instruct-v0.1
Mistral AI · mistralai/Mixtral-8x7B-Instruct-v0.1 · gqa · full
| 量子化 | 2,048 | 8,192 | 32,768 |
|---|---|---|---|
| BF16 safetensors | 87.30 GiB–87.87 GiB | 88.05 GiB–88.62 GiB | 91.05 GiB–91.62 GiB |
| INT4 theoretical | 22.06 GiB–24.80 GiB | 22.81 GiB–25.55 GiB | 25.81 GiB–28.55 GiB |
見積もり
判断できない
予算や必須データが足りないか、この版では扱えない配置です。
推定メモリ範囲: 88.12 GiB – 90.30 GiB
重みは選択したファイルのメタデータを使います。実行時の追加分は見積もりです。
ソフトウェアの対応
未確認. メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。
- メモリに余裕があっても、そのエンジン・量子化・OS の組み合わせが動くとは限りません。
結果を左右する前提
- 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
- この MoE は総パラメータ 46700000000、アクティブ 12900000000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。
- ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
- ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
- 計上したファイル: model.safetensors.index.json metadata.total_size。
- コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
- 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
- KV の型は、変更しない限りウェイト量子化とは独立です。
- 32 個の query heads ではなく 8 個の KV heads を使います。
- プリフィルのピークと定常デコードは同じではありません。高シナリオはプリフィル寄りです。
- エンジン予約はウェイトと KV の実使用量ではありません。
- llama.cpp の計算バッファはコンテキストとバッチで増えます。ここは調整可能なシナリオで、一致する校正がある場合だけ実測として示します。