Qwen2.5-32B-Instructの必要VRAM

Qwen2.5-32B-Instruct は Q4_K_M、8K コンテキストで約 21.5 GiB の VRAM が必要です。24 GB のグラボ（RTX 4090 など）ではぎりぎりで、32 GB のグラボ（RTX 5090 など）なら収まります。32K コンテキストでは約 27.9 GiB で、48 GB のグラボに収まります。

これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法

量子化ごとの VRAM

量子化ファイルサイズ8K の合計32K の合計
BF16 safetensors65.5 GB63.7 GiB–65.6 GiB69.7 GiB–71.8 GiB
GGUF Q8_0 (Qwen)34.8 GB34.6 GiB–35.7 GiB40.6 GiB–42.1 GiB
GGUF Q6_K (Qwen)26.9 GB27.2 GiB–28.2 GiB33.2 GiB–34.6 GiB
GGUF Q5_K_M (Qwen)23.3 GB23.8 GiB–24.7 GiB29.8 GiB–31.2 GiB
GGUF Q4_K_M19.9 GB20.6 GiB–21.5 GiB26.6 GiB–27.9 GiB

Q4_K_M や Q8_0 は量子化レベルです。重みあたりのビット数が少ないほどファイルは小さくなり、品質が少し落ちます。合計には KV キャッシュ（コンテキスト長に応じて増えるメモリ）とランタイムのバッファを含み、同時に 1 会話で計算しています。 ダウンロードファイル

動かせるグラボ

メモリ使える量例8K32K
8 GB7.0 GiBRTX 4060, RTX 3060, RTX 5060 Ti ほか 1 製品収まらない収まらない
10 GB9.0 GiBRTX 3080収まらない収まらない
12 GB11.0 GiBRTX 4070, RTX 3060, RTX 5070 ほか 2 製品収まらない収まらない
16 GB14.0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT ほか 5 製品収まらない収まらない
16 GB15.0 GiBRTX 4060 Ti, RTX 4070 Ti SUPER収まらない収まらない
20 GB18.0 GiBRX 7900 XT収まらない収まらない
24 GB22.0 GiBRTX 4090, RX 7900 XTX, RTX 3090ぎりぎり収まらない
32 GB30.0 GiBRTX 5090収まるぎりぎり
48 GB46.0 GiBL40S余裕あり余裕あり
80 GB78.0 GiBA100, H100余裕あり余裕あり
64 GB · ユニファイド54.0 GiBApple M2 Max余裕あり余裕あり
128 GB · ユニファイド96.0 GiBRyzen AI Max+ 395余裕あり余裕あり
128 GB · ユニファイド112.0 GiBDGX Spark (GB10)余裕あり余裕あり
128 GB · ユニファイド116.0 GiBApple M4 Max余裕あり余裕あり

GGUF Q4_K_M、同時に 1 会話。使えるメモリは総量から OS と画面表示用の既定の予約分を引いた値です。

個別の組み合わせ

アーキテクチャ

KV キャッシュはコンテキストに応じて増えます。FP16 で 8K なら約 2 GiB、32K なら約 8 GiB です。 クエリヘッド 40 個に対して KV ヘッドは 8 個（グループ化クエリアテンション）なので、このキャッシュは小さく済みます。

よくある質問

ダウンロードサイズと VRAM 使用量は同じ？

同じではありません。Q4_K_M のファイルは約 18.5 GiB ですが、8K コンテキストでは合計約 21.5 GiB になります。KV キャッシュとランタイムのバッファが重みに上乗せされるためです。

コンテキストを長くするとメモリはどれだけ増える？

Qwen2.5-32B-Instruct の KV キャッシュは FP16 で 8K なら約 2 GiB、32K なら約 8 GiB です。重みのサイズは変わりません。

どの量子化を選べばいい？

まず Q4_K_M（8K で約 21.5 GiB）から。メモリに余裕があれば、BF16 は約 65.6 GiB で、元の重みにより近くなります。

ダウンロードファイル

量子化ファイルファイルサイズエンジン
BF16 safetensors
safetensors シャード 17 件
先頭のシャード：model-00001-of-00017.safetensors
末尾のシャード：model-00017-of-00017.safetensors
シャードファイル 17 件をすべて表示
  • model-00001-of-00017.safetensors
  • model-00002-of-00017.safetensors
  • model-00003-of-00017.safetensors
  • model-00004-of-00017.safetensors
  • model-00005-of-00017.safetensors
  • model-00006-of-00017.safetensors
  • model-00007-of-00017.safetensors
  • model-00008-of-00017.safetensors
  • model-00009-of-00017.safetensors
  • model-00010-of-00017.safetensors
  • model-00011-of-00017.safetensors
  • model-00012-of-00017.safetensors
  • model-00013-of-00017.safetensors
  • model-00014-of-00017.safetensors
  • model-00015-of-00017.safetensors
  • model-00016-of-00017.safetensors
  • model-00017-of-00017.safetensors
65.53 GB
65,527,752,704 bytes
vllm, sglang
GGUF Q8_0 (Qwen)
safetensors シャード 9 件
先頭のシャード：qwen2.5-32b-instruct-q8_0-00001-of-00009.gguf
末尾のシャード：qwen2.5-32b-instruct-q8_0-00009-of-00009.gguf
シャードファイル 9 件をすべて表示
  • qwen2.5-32b-instruct-q8_0-00001-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00002-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00003-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00004-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00005-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00006-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00007-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00008-of-00009.gguf
  • qwen2.5-32b-instruct-q8_0-00009-of-00009.gguf
34.82 GB
34,820,885,632 bytes
llama.cpp, ollama
GGUF Q6_K (Qwen)
safetensors シャード 7 件
先頭のシャード：qwen2.5-32b-instruct-q6_k-00001-of-00007.gguf
末尾のシャード：qwen2.5-32b-instruct-q6_k-00007-of-00007.gguf
シャードファイル 7 件をすべて表示
  • qwen2.5-32b-instruct-q6_k-00001-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00002-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00003-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00004-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00005-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00006-of-00007.gguf
  • qwen2.5-32b-instruct-q6_k-00007-of-00007.gguf
26.89 GB
26,886,155,104 bytes
llama.cpp, ollama
GGUF Q5_K_M (Qwen)
safetensors シャード 6 件
先頭のシャード：qwen2.5-32b-instruct-q5_k_m-00001-of-00006.gguf
末尾のシャード：qwen2.5-32b-instruct-q5_k_m-00006-of-00006.gguf
シャードファイル 6 件をすべて表示
  • qwen2.5-32b-instruct-q5_k_m-00001-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00002-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00003-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00004-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00005-of-00006.gguf
  • qwen2.5-32b-instruct-q5_k_m-00006-of-00006.gguf
23.26 GB
23,262,157,568 bytes
llama.cpp, ollama
GGUF Q4_K_M
safetensors シャード 5 件
先頭のシャード：qwen2.5-32b-instruct-q4_k_m-00001-of-00005.gguf
末尾のシャード：qwen2.5-32b-instruct-q4_k_m-00005-of-00005.gguf
シャードファイル 5 件をすべて表示
  • qwen2.5-32b-instruct-q4_k_m-00001-of-00005.gguf
  • qwen2.5-32b-instruct-q4_k_m-00002-of-00005.gguf
  • qwen2.5-32b-instruct-q4_k_m-00003-of-00005.gguf
  • qwen2.5-32b-instruct-q4_k_m-00004-of-00005.gguf
  • qwen2.5-32b-instruct-q4_k_m-00005-of-00005.gguf
19.85 GB
19,851,336,384 bytes
llama.cpp, ollama
この数値の計算方法

合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。

GGUF Q4_K_M · 8,192 tokens · llama.cpp

重み（ファイル）
18.49 GiB (19,851,336,384 bytes)
KV キャッシュ
2.00 GiB (2,147,483,648 bytes)
ランタイムのバッファ
0.13 GiB–1.01 GiB
合計
20.61 GiB–21.50 GiB
  • コンテキスト長はネイティブの 32768 トークン以内です。
  • 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
  • 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
  • ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
  • 計上したファイル: qwen2.5-32b-instruct-q4_k_m-00001-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00002-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00003-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00004-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00005-of-00005.gguf。
  • コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
  • 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
  • KVキャッシュの精度は、変更しない限り重みの量子化とは無関係です。

計算方法

このモデルで計算機を開く

関連ページ

出典

計算機

公開カタログスナップショットを読み込み中…

コンテキスト長

コンテキストが長いほど、KV キャッシュ（会話を覚えておくためのメモリ）が増えます。

その他のオプション
量子化
ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

GiB（2^30 バイト）

%

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ブラウザ内だけで解析します。ファイルは送信しません。

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

モデルを選ぶと必要なメモリがわかります。