DeepSeek-V2-Lite-Chat は GeForce RTX 4090 24GB (desktop) で動くか
1つの設定に対する条件付きの判断です。コンテキスト・量子化・エンジンを変えると結論も変わります。
MLA is unsupported for full KV; page explains the gap instead of faking GQA.
このページの設定: bf16、キャッシュ 4,096 トークン、シーケンス 1、エンジン vllm。
判定: 未対応 / データ不足。ソフトウェア: 文書で対応が確認できる。
ウェイト 29.26 GiB · 生 KV 0.00 GiB · 合計 29.26 GiB–29.26 GiB。
既定の予約を除いた利用可能予算 22.00 GiB。
一致する実行時常駐の実測が付いていない限り、このページは見積もりです。
- 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
- この MoE は総パラメータ 15700000000、アクティブ 2400000000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。
- ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
- ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
- 計上したファイル: model.safetensors.index.json metadata.total_size。
- コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
- 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
- KV の型は、変更しない限りウェイト量子化とは独立です。
見積もり
未対応 / データ不足
アーキテクチャや分割方法が対象外です。重みの内訳は表示できる場合があります。
推定メモリ範囲: 29.26 GiB – 29.26 GiB
重みは選択したファイルのメタデータを使います。実行時の追加分は見積もりです。
利用可能予算: 22.00 GiB · 見積もり後の残り: -7.26 GiB – -7.26 GiB
ソフトウェアの対応
文書で対応が確認できる. メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。
- アーキテクチャ mla の KV は完全には扱えません。
- MLA の KV は GQA の式では見積もりません。
結果を左右する前提
- 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
- この MoE は総パラメータ 15700000000、アクティブ 2400000000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。
- ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
- ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
- 計上したファイル: model.safetensors.index.json metadata.total_size。
- コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
- 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
- KV の型は、変更しない限りウェイト量子化とは独立です。
- ホスト RAM は独立 GPU の VRAM に自動では入りません。