Qwen2.5-72B-Instructの必要VRAM

Qwen2.5-72B-Instruct は Q4_K_M、8K コンテキストで約 45 GiB の VRAM が必要です。48 GB のグラボ（L40S など）ではぎりぎりで、80 GB のグラボ（A100 など）なら収まります。32K コンテキストでは約 53 GiB で、80 GB のグラボに収まります。

これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法

量子化ごとの VRAM

量子化ファイルサイズ8K の合計32K の合計
BF16 safetensors145.4 GB138.6 GiB–140.5 GiB146.1 GiB–148.2 GiB
GGUF Q8_0 (Qwen)77.5 GB74.8 GiB–76.8 GiB82.3 GiB–84.8 GiB
GGUF Q6_K (Qwen)59.9 GB58.4 GiB–60.0 GiB65.9 GiB–68.1 GiB
GGUF Q5_K_M (Qwen)51.7 GB50.8 GiB–52.3 GiB58.3 GiB–60.3 GiB
GGUF Q4_K_M44.0 GB43.6 GiB–45.0 GiB51.1 GiB–53.0 GiB

Q4_K_M や Q8_0 は量子化レベルです。重みあたりのビット数が少ないほどファイルは小さくなり、品質が少し落ちます。合計には KV キャッシュ（コンテキスト長に応じて増えるメモリ）とランタイムのバッファを含み、同時に 1 会話で計算しています。 ダウンロードファイル

動かせるグラボ

メモリ使える量例8K32K
8 GB7.0 GiBRTX 4060, RTX 3060, RTX 5060 Ti ほか 1 製品収まらない収まらない
10 GB9.0 GiBRTX 3080収まらない収まらない
12 GB11.0 GiBRTX 4070, RTX 3060, RTX 5070 ほか 2 製品収まらない収まらない
16 GB14.0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT ほか 5 製品収まらない収まらない
16 GB15.0 GiBRTX 4060 Ti, RTX 4070 Ti SUPER収まらない収まらない
20 GB18.0 GiBRX 7900 XT収まらない収まらない
24 GB22.0 GiBRTX 4090, RX 7900 XTX, RTX 3090収まらない収まらない
32 GB30.0 GiBRTX 5090収まらない収まらない
48 GB46.0 GiBL40Sぎりぎり収まらない
80 GB78.0 GiBA100, H100余裕あり余裕あり
64 GB · ユニファイド54.0 GiBApple M2 Max収まるぎりぎり
128 GB · ユニファイド96.0 GiBRyzen AI Max+ 395余裕あり余裕あり
128 GB · ユニファイド112.0 GiBDGX Spark (GB10)余裕あり余裕あり
128 GB · ユニファイド116.0 GiBApple M4 Max余裕あり余裕あり

GGUF Q4_K_M、同時に 1 会話。使えるメモリは総量から OS と画面表示用の既定の予約分を引いた値です。

個別の組み合わせ

アーキテクチャ

KV キャッシュはコンテキストに応じて増えます。FP16 で 8K なら約 2.5 GiB、32K なら約 10 GiB です。 クエリヘッド 64 個に対して KV ヘッドは 8 個（グループ化クエリアテンション）なので、このキャッシュは小さく済みます。

よくある質問

ダウンロードサイズと VRAM 使用量は同じ？

同じではありません。Q4_K_M のファイルは約 41 GiB ですが、8K コンテキストでは合計約 45 GiB になります。KV キャッシュとランタイムのバッファが重みに上乗せされるためです。

コンテキストを長くするとメモリはどれだけ増える？

Qwen2.5-72B-Instruct の KV キャッシュは FP16 で 8K なら約 2.5 GiB、32K なら約 10 GiB です。重みのサイズは変わりません。

どの量子化を選べばいい？

まず Q4_K_M（8K で約 45 GiB）から。メモリに余裕があれば、BF16 は約 140.5 GiB で、元の重みにより近くなります。

ダウンロードファイル

量子化ファイルファイルサイズエンジン
BF16 safetensors
safetensors シャード 37 件
先頭のシャード：model-00001-of-00037.safetensors
末尾のシャード：model-00037-of-00037.safetensors
シャードファイル 37 件をすべて表示
  • model-00001-of-00037.safetensors
  • model-00002-of-00037.safetensors
  • model-00003-of-00037.safetensors
  • model-00004-of-00037.safetensors
  • model-00005-of-00037.safetensors
  • model-00006-of-00037.safetensors
  • model-00007-of-00037.safetensors
  • model-00008-of-00037.safetensors
  • model-00009-of-00037.safetensors
  • model-00010-of-00037.safetensors
  • model-00011-of-00037.safetensors
  • model-00012-of-00037.safetensors
  • model-00013-of-00037.safetensors
  • model-00014-of-00037.safetensors
  • model-00015-of-00037.safetensors
  • model-00016-of-00037.safetensors
  • model-00017-of-00037.safetensors
  • model-00018-of-00037.safetensors
  • model-00019-of-00037.safetensors
  • model-00020-of-00037.safetensors
  • model-00021-of-00037.safetensors
  • model-00022-of-00037.safetensors
  • model-00023-of-00037.safetensors
  • model-00024-of-00037.safetensors
  • model-00025-of-00037.safetensors
  • model-00026-of-00037.safetensors
  • model-00027-of-00037.safetensors
  • model-00028-of-00037.safetensors
  • model-00029-of-00037.safetensors
  • model-00030-of-00037.safetensors
  • model-00031-of-00037.safetensors
  • model-00032-of-00037.safetensors
  • model-00033-of-00037.safetensors
  • model-00034-of-00037.safetensors
  • model-00035-of-00037.safetensors
  • model-00036-of-00037.safetensors
  • model-00037-of-00037.safetensors
145.41 GB
145,412,407,296 bytes
vllm, sglang
GGUF Q8_0 (Qwen)
safetensors シャード 21 件
先頭のシャード：qwen2.5-72b-instruct-q8_0-00001-of-00021.gguf
末尾のシャード：qwen2.5-72b-instruct-q8_0-00021-of-00021.gguf
シャードファイル 21 件をすべて表示
  • qwen2.5-72b-instruct-q8_0-00001-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00002-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00003-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00004-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00005-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00006-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00007-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00008-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00009-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00010-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00011-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00012-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00013-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00014-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00015-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00016-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00017-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00018-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00019-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00020-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00021-of-00021.gguf
77.53 GB
77,530,000,800 bytes
llama.cpp, ollama
GGUF Q6_K (Qwen)
safetensors シャード 16 件
先頭のシャード：qwen2.5-72b-instruct-q6_k-00001-of-00016.gguf
末尾のシャード：qwen2.5-72b-instruct-q6_k-00016-of-00016.gguf
シャードファイル 16 件をすべて表示
  • qwen2.5-72b-instruct-q6_k-00001-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00002-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00003-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00004-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00005-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00006-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00007-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00008-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00009-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00010-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00011-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00012-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00013-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00014-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00015-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00016-of-00016.gguf
59.86 GB
59,861,035,808 bytes
llama.cpp, ollama
GGUF Q5_K_M (Qwen)
safetensors シャード 14 件
先頭のシャード：qwen2.5-72b-instruct-q5_k_m-00001-of-00014.gguf
末尾のシャード：qwen2.5-72b-instruct-q5_k_m-00014-of-00014.gguf
シャードファイル 14 件をすべて表示
  • qwen2.5-72b-instruct-q5_k_m-00001-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00002-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00003-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00004-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00005-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00006-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00007-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00008-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00009-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00010-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00011-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00012-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00013-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00014-of-00014.gguf
51.67 GB
51,673,983,488 bytes
llama.cpp, ollama
GGUF Q4_K_M
safetensors シャード 12 件
先頭のシャード：qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf
末尾のシャード：qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf
シャードファイル 12 件をすべて表示
  • qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00002-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00003-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00004-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00005-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00006-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00007-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00008-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00009-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00010-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00011-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf
44.01 GB
44,010,465,472 bytes
llama.cpp, ollama
この数値の計算方法

合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。

GGUF Q4_K_M · 8,192 tokens · llama.cpp

重み（ファイル）
40.99 GiB (44,010,465,472 bytes)
KV キャッシュ
2.50 GiB (2,684,354,560 bytes)
ランタイムのバッファ
0.13 GiB–1.49 GiB
合計
43.61 GiB–44.98 GiB
  • コンテキスト長はネイティブの 32768 トークン以内です。
  • 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
  • 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
  • ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
  • ウェイトバイトは公開済み safetensors シャード 12 個、合計 44010465472 バイトです。
  • コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
  • 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
  • KVキャッシュの精度は、変更しない限り重みの量子化とは無関係です。

計算方法

このモデルで計算機を開く

関連ページ

出典

計算機

公開カタログスナップショットを読み込み中…

コンテキスト長

コンテキストが長いほど、KV キャッシュ（会話を覚えておくためのメモリ）が増えます。

その他のオプション
量子化
ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

GiB（2^30 バイト）

%

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ブラウザ内だけで解析します。ファイルは送信しません。

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

モデルを選ぶと必要なメモリがわかります。