DeepSeek-V2-Lite-Chatの必要VRAM

DeepSeek-V2-Lite-Chat は Q4_K_M、8K コンテキストで約 12.2 GiB の VRAM が必要です。12 GB のグラボ（RTX 4070 など）ではぎりぎりで、16 GB のグラボ（RTX 4080 SUPER など）なら収まります。32K コンテキストでは約 13.2 GiB で、16 GB のグラボに収まります。

これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法

量子化ごとの VRAM

量子化ファイルサイズ8K の合計32K の合計
BF16 safetensors31.4 GB30.1 GiB–36.8 GiB30.8 GiB–37.8 GiB
GGUF Q8_0 (mradermacher)16.7 GB15.9 GiB–19.2 GiB16.6 GiB–20.2 GiB
GGUF Q6_K (mradermacher)14.1 GB13.5 GiB–16.3 GiB14.2 GiB–17.3 GiB
GGUF Q5_K_M (mradermacher)11.9 GB11.4 GiB–13.9 GiB12.1 GiB–14.9 GiB
GGUF Q4_K_M (mradermacher)10.4 GB10.0 GiB–12.2 GiB10.7 GiB–13.2 GiB

Q4_K_M や Q8_0 は量子化レベルです。重みあたりのビット数が少ないほどファイルは小さくなり、品質が少し落ちます。合計には KV キャッシュ（コンテキスト長に応じて増えるメモリ）とランタイムのバッファを含み、同時に 1 会話で計算しています。 ダウンロードファイル

動かせるグラボ

メモリ使える量例8K32K
8 GB7.0 GiBRTX 4060, RTX 3060, RTX 5060 Ti ほか 1 製品収まらない収まらない
10 GB9.0 GiBRTX 3080収まらない収まらない
12 GB11.0 GiBRTX 4070, RTX 3060, RTX 5070 ほか 2 製品ぎりぎりぎりぎり
16 GB14.0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT ほか 5 製品収まるぎりぎり
16 GB15.0 GiBRTX 4060 Ti, RTX 4070 Ti SUPER収まる収まる
20 GB18.0 GiBRX 7900 XT余裕あり収まる
24 GB22.0 GiBRTX 4090, RX 7900 XTX, RTX 3090余裕あり余裕あり
32 GB30.0 GiBRTX 5090余裕あり余裕あり
48 GB46.0 GiBL40S余裕あり余裕あり
80 GB78.0 GiBA100, H100余裕あり余裕あり
64 GB · ユニファイド54.0 GiBApple M2 Max余裕あり余裕あり
128 GB · ユニファイド96.0 GiBRyzen AI Max+ 395余裕あり余裕あり
128 GB · ユニファイド112.0 GiBDGX Spark (GB10)余裕あり余裕あり
128 GB · ユニファイド116.0 GiBApple M4 Max余裕あり余裕あり

GGUF Q4_K_M (mradermacher)、同時に 1 会話。使えるメモリは総量から OS と画面表示用の既定の予約分を引いた値です。

個別の組み合わせ

アーキテクチャ

このアテンション構造には標準の KV 式が当てはまらないため、推定の KV 部分は部分的です。 すべてのエキスパートがメモリに載るため、重みのサイズはアクティブではなく総パラメータ数で決まります。

よくある質問

ダウンロードサイズと VRAM 使用量は同じ？

同じではありません。Q4_K_M のファイルは約 9.7 GiB ですが、8K コンテキストでは合計約 12.2 GiB になります。KV キャッシュとランタイムのバッファが重みに上乗せされるためです。

どの量子化を選べばいい？

まず Q4_K_M（8K で約 12.2 GiB）から。メモリに余裕があれば、BF16 は約 36.8 GiB で、元の重みにより近くなります。

ダウンロードファイル

量子化ファイルファイルサイズエンジン
BF16 safetensorsmodel-00001-of-000004.safetensors, model-00002-of-000004.safetensors, model-00003-of-000004.safetensors, model-00004-of-000004.safetensors31.41 GB
31,412,968,448 bytes
vllm, sglang
GGUF Q8_0 (mradermacher)DeepSeek-V2-Lite-Chat.Q8_0.gguf16.70 GB
16,702,518,016 bytes
llama.cpp, ollama
GGUF Q6_K (mradermacher)DeepSeek-V2-Lite-Chat.Q6_K.gguf14.07 GB
14,066,972,416 bytes
llama.cpp, ollama
GGUF Q5_K_M (mradermacher)DeepSeek-V2-Lite-Chat.Q5_K_M.gguf11.85 GB
11,851,313,920 bytes
llama.cpp, ollama
GGUF Q4_K_M (mradermacher)DeepSeek-V2-Lite-Chat.Q4_K_M.gguf10.36 GB
10,364,416,768 bytes
llama.cpp, ollama
この数値の計算方法

合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。

GGUF Q4_K_M (mradermacher) · 8,192 tokens · llama.cpp

重み（ファイル）
9.65 GiB (10,364,416,768 bytes)
KV キャッシュ
0.24 GiB (254,803,968 bytes)
ランタイムのバッファ
0.13 GiB–2.34 GiB
合計
10.01 GiB–12.23 GiB
  • コンテキスト長はネイティブの 163840 トークン以内です。
  • 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
  • この MoE は総パラメータ 15706484224、アクティブ 2400000000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。
  • 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
  • ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
  • 計上したファイル: DeepSeek-V2-Lite-Chat.Q4_K_M.gguf。
  • コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
  • 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。

計算方法

このモデルで計算機を開く

関連ページ

出典

計算機

公開カタログスナップショットを読み込み中…

コンテキスト長

コンテキストが長いほど、KV キャッシュ（会話を覚えておくためのメモリ）が増えます。

その他のオプション
量子化
ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

GiB（2^30 バイト）

%

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ブラウザ内だけで解析します。ファイルは送信しません。

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

モデルを選ぶと必要なメモリがわかります。