RTX 4090でDeepSeek-V2-Lite-Chatは動く？
動きません DeepSeek-V2-Lite-Chat の BF16 は 4,096 トークンのコンテキストで 30.00 GiB–36.68 GiB 必要です。RTX 4090 で使えるのは約 22 GiB です。
4 ファイル、合計 31.4 GB。
このアーキテクチャはメモリ式で一部しか扱えないため、このページの数値はおおまかな目安です。
これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法
変えるべき点
- 代わりに GGUF Q8_0 (mradermacher) を使う：同じコンテキストで約 19 GiB（収まる）。
このグラボでのほかのファイル
| 量子化 | ファイルサイズ | エンジン | 合計 | 適合 |
|---|---|---|---|---|
| BF16 safetensors この設定 | 31.4 GB | vllm | 30.0 GiB–36.7 GiB | 収まらない |
| GGUF Q8_0 (mradermacher) | 16.7 GB | llama.cpp | 15.8 GiB–19.0 GiB | 収まる |
| GGUF Q6_K (mradermacher) | 14.1 GB | llama.cpp | 13.3 GiB–16.1 GiB | 収まる |
| GGUF Q5_K_M (mradermacher) | 11.9 GB | llama.cpp | 11.3 GiB–13.7 GiB | 余裕あり |
| GGUF Q4_K_M (mradermacher) | 10.4 GB | llama.cpp | 9.9 GiB–12.1 GiB | 余裕あり |
同じコンテキスト（4,096 トークン）、同時に 1 会話、各ファイルは通常のエンジンで計算しています。
固定の設定
- モデルDeepSeek-V2-Lite-Chat
- ハードウェアGeForce RTX 4090 24GB (desktop)
- 量子化BF16 safetensors
- コンテキスト長（キャッシュするトークン数）4,096
- 実行エンジン
vllm - 同時シーケンス数1
- KV Cache の精度fp16
技術識別子と共有データ
- モデル
deepseek-v2-lite-chat - ハードウェア
nvidia-geforce-rtx-4090-24gb-desktop - 量子化
bf16 - この構成の共有コード
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6ImRlZXBzZWVrLXYyLWxpdGUtY2hhdCIsImhhcmR3YXJlSWQiOiJudmlkaWEtZ2Vmb3JjZS1ydHgtNDA5MC0yNGdiLWRlc2t0b3AiLCJkZXZpY2VDb3VudCI6MSwicXVhbnRpemF0aW9uSWQiOiJiZjE2IiwiY29udGV4dFRva2VucyI6NDA5NiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0
この数値の計算方法
合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。
- 重み（ファイル）
- 29.26 GiB (31,412,968,448 bytes)
- KV キャッシュ
- 0.12 GiB (127,401,984 bytes)
- ランタイムのバッファ
- 0.63 GiB–7.31 GiB
- 合計
- 30.00 GiB–36.68 GiB
- 使えるメモリ
- 22.00 GiB
- OS / 画面の予約
- 2.00 GiB
- 残り
- -14.68 GiB–-8.00 GiB
高めの見積もり 36.68 GiB／使える容量 22.00 GiB
メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。
- コンテキスト長はネイティブの 163840 トークン以内です。
- 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
- この MoE は総パラメータ 15706484224、アクティブ 2400000000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。
- 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
- ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
- 計上したファイル: model-00001-of-000004.safetensors, model-00002-of-000004.safetensors, model-00003-of-000004.safetensors, model-00004-of-000004.safetensors。
- コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
- 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
関連ページ
出典
計算機
組み合わせページはルートのモデルと機材を固定します。変更するにはメイン計算機でカスタマイズし、共有がその身元を保持します。
公開カタログスナップショットを読み込み中…
モデルを選ぶと必要なメモリがわかります。
モデルを選ぶと必要なメモリがわかります。