DeepSeek-R1-Distill-Llama-8Bの必要VRAM

DeepSeek-R1-Distill-Llama-8B は Q4_K_M、8K コンテキストで約 6.2 GiB の VRAM が必要です。8 GB のグラボ（RTX 4060 など）で足ります。32K コンテキストでは約 9.5 GiB で、12 GB のグラボに収まります。

これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法

量子化ごとの VRAM

量子化ファイルサイズ8K の合計32K の合計
BF16 safetensors16.1 GB16.6 GiB–18.5 GiB19.6 GiB–21.6 GiB
GGUF Q8_0 (Unsloth)8.5 GB9.1 GiB–9.7 GiB12.1 GiB–12.9 GiB
GGUF Q6_K (Unsloth)6.6 GB7.3 GiB–7.8 GiB10.3 GiB–11.0 GiB
GGUF Q5_K_M (Unsloth)5.7 GB6.5 GiB–7.0 GiB9.5 GiB–10.2 GiB
GGUF Q4_K_M (Unsloth)4.9 GB5.7 GiB–6.2 GiB8.7 GiB–9.5 GiB

Q4_K_M や Q8_0 は量子化レベルです。重みあたりのビット数が少ないほどファイルは小さくなり、品質が少し落ちます。合計には KV キャッシュ（コンテキスト長に応じて増えるメモリ）とランタイムのバッファを含み、同時に 1 会話で計算しています。 ダウンロードファイル

動かせるグラボ

メモリ使える量例8K32K
8 GB7.0 GiBRTX 4060, RTX 3060, RTX 5060 Ti ほか 1 製品収まる収まらない
10 GB9.0 GiBRTX 3080余裕ありぎりぎり
12 GB11.0 GiBRTX 4070, RTX 3060, RTX 5070 ほか 2 製品余裕あり収まる
16 GB14.0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT ほか 5 製品余裕あり余裕あり
16 GB15.0 GiBRTX 4060 Ti, RTX 4070 Ti SUPER余裕あり余裕あり
20 GB18.0 GiBRX 7900 XT余裕あり余裕あり
24 GB22.0 GiBRTX 4090, RX 7900 XTX, RTX 3090余裕あり余裕あり
32 GB30.0 GiBRTX 5090余裕あり余裕あり
48 GB46.0 GiBL40S余裕あり余裕あり
80 GB78.0 GiBA100, H100余裕あり余裕あり
64 GB · ユニファイド54.0 GiBApple M2 Max余裕あり余裕あり
128 GB · ユニファイド96.0 GiBRyzen AI Max+ 395余裕あり余裕あり
128 GB · ユニファイド112.0 GiBDGX Spark (GB10)余裕あり余裕あり
128 GB · ユニファイド116.0 GiBApple M4 Max余裕あり余裕あり

GGUF Q4_K_M (Unsloth)、同時に 1 会話。使えるメモリは総量から OS と画面表示用の既定の予約分を引いた値です。

個別の組み合わせ

アーキテクチャ

KV キャッシュはコンテキストに応じて増えます。FP16 で 8K なら約 1 GiB、32K なら約 4 GiB です。 クエリヘッド 32 個に対して KV ヘッドは 8 個（グループ化クエリアテンション）なので、このキャッシュは小さく済みます。

よくある質問

ダウンロードサイズと VRAM 使用量は同じ？

同じではありません。Q4_K_M のファイルは約 4.6 GiB ですが、8K コンテキストでは合計約 6.2 GiB になります。KV キャッシュとランタイムのバッファが重みに上乗せされるためです。

コンテキストを長くするとメモリはどれだけ増える？

DeepSeek-R1-Distill-Llama-8B の KV キャッシュは FP16 で 8K なら約 1 GiB、32K なら約 4 GiB です。重みのサイズは変わりません。

どの量子化を選べばいい？

まず Q4_K_M（8K で約 6.2 GiB）から。メモリに余裕があれば、BF16 は約 18.5 GiB で、元の重みにより近くなります。

ダウンロードファイル

量子化ファイルファイルサイズエンジン
BF16 safetensorsmodel-00001-of-000002.safetensors, model-00002-of-000002.safetensors16.06 GB
16,060,522,496 bytes
vllm, sglang
GGUF Q8_0 (Unsloth)DeepSeek-R1-Distill-Llama-8B-Q8_0.gguf8.54 GB
8,540,773,088 bytes
llama.cpp, ollama
GGUF Q6_K (Unsloth)DeepSeek-R1-Distill-Llama-8B-Q6_K.gguf6.60 GB
6,596,009,408 bytes
llama.cpp, ollama
GGUF Q5_K_M (Unsloth)DeepSeek-R1-Distill-Llama-8B-Q5_K_M.gguf5.73 GB
5,732,990,400 bytes
llama.cpp, ollama
GGUF Q4_K_M (Unsloth)DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf4.92 GB
4,920,737,216 bytes
llama.cpp, ollama
この数値の計算方法

合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。

GGUF Q4_K_M (Unsloth) · 8,192 tokens · llama.cpp

重み（ファイル）
4.58 GiB (4,920,737,216 bytes)
KV キャッシュ
1.00 GiB (1,073,741,824 bytes)
ランタイムのバッファ
0.13 GiB–0.66 GiB
合計
5.71 GiB–6.24 GiB
  • コンテキスト長はネイティブの 131072 トークン以内です。
  • 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
  • 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
  • ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
  • 計上したファイル: DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf。
  • コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
  • 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
  • KVキャッシュの精度は、変更しない限り重みの量子化とは無関係です。

計算方法

このモデルで計算機を開く

関連ページ

出典

計算機

公開カタログスナップショットを読み込み中…

コンテキスト長

コンテキストが長いほど、KV キャッシュ（会話を覚えておくためのメモリ）が増えます。

その他のオプション
量子化
ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

GiB（2^30 バイト）

%

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ブラウザ内だけで解析します。ファイルは送信しません。

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

モデルを選ぶと必要なメモリがわかります。