Qwen2.5-32B-Instruct

Qwen · Qwen/Qwen2.5-32B-Instruct · gqa · full

量子化	2,048	8,192	32,768
BF16 safetensors	61.59 GiB–62.15 GiB	63.09 GiB–63.65 GiB	69.09 GiB–69.65 GiB
GGUF Q4_K_M	19.05 GiB–19.61 GiB	20.55 GiB–21.11 GiB	26.55 GiB–27.11 GiB
INT4 theoretical	15.70 GiB–17.77 GiB	17.20 GiB–19.27 GiB	23.20 GiB–25.27 GiB

モデルと設定を選んで、必要なメモリを確認します。

モデルハードウェア量子化コンテキスト長（キャッシュするトークン数）同時シーケンス数

詳細設定

KV Cache の精度実行エンジン配置方法デバイス数実行時オーバーヘッドの想定OS / 画面用の予約

GiB（2^30 バイト）

予算はすでにシステム分を除いている追加の安全マージンパラメータあたりの実効ビット数（手動）プリフィル寄りの作業領域を多めに見る表示単位

ローカルの config.json を読み込む

ブラウザ内だけで解析します。ファイルは送信しません。

公開 Hugging Face リポジトリリビジョン

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

総パラメータ数アクティブパラメータ数層数Query headsKV headsHead dimension

見積もり

判断できない

予算や必須データが足りないか、この版では扱えない配置です。

推定メモリ範囲: 20.61 GiB – 21.50 GiB

重みは選択したファイルのメタデータを使います。実行時の追加分は見積もりです。

重み18.49 GiB

KV Cache（生データ）2.00 GiB

KV の追加分（量子化メタデータなど）0.00 GiB

アクティベーション / 作業領域0.06 GiB

エンジン予約0.06 GiB

安全マージン0.00 GiB

文書で対応が確認できる. メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。

常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
計上したファイル: qwen2.5-32b-instruct-q4_k_m-00001-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00002-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00003-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00004-of-00005.gguf, qwen2.5-32b-instruct-q4_k_m-00005-of-00005.gguf。
コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
KV の型は、変更しない限りウェイト量子化とは独立です。
40 個の query heads ではなく 8 個の KV heads を使います。
プリフィルのピークと定常デコードは同じではありません。高シナリオはプリフィル寄りです。
エンジン予約はウェイトと KV の実使用量ではありません。
llama.cpp の計算バッファはコンテキストとバッチで増えます。ここは調整可能なシナリオで、一致する校正がある場合だけ実測として示します。