H100でQwen3-32Bは動く？
ぎりぎりです Qwen3-32B の BF16 は 32,768 トークンのコンテキストで 69.65 GiB–71.76 GiB 必要です。H100 で使えるのは約 78 GiB です。
17 ファイル、合計 65.5 GB。
これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法
変えるべき点
- コンテキストを約 25,600 トークンまで短くすれば無理なく収まります。
- 代わりに GGUF Q8_0 (Qwen) を使う：同じコンテキストで約 42.1 GiB（余裕あり）。
- GPU メモリを使う他のアプリを閉じるか、画面を出さないマシンなら予約量を下げてください。
このグラボでのほかのファイル
| 量子化 | ファイルサイズ | エンジン | 合計 | 適合 |
|---|---|---|---|---|
| BF16 safetensors この設定 | 65.5 GB | vllm | 69.6 GiB–71.8 GiB | ぎりぎり |
| GGUF Q8_0 (Qwen) | 34.8 GB | llama.cpp | 40.6 GiB–42.1 GiB | 余裕あり |
| GGUF Q6_K (Qwen) | 26.9 GB | llama.cpp | 33.2 GiB–34.6 GiB | 余裕あり |
| GGUF Q5_K_M (Qwen) | 23.2 GB | llama.cpp | 29.7 GiB–31.1 GiB | 余裕あり |
| GGUF Q4_K_M | 19.8 GB | llama.cpp | 26.5 GiB–27.8 GiB | 余裕あり |
同じコンテキスト（32,768 トークン）、同時に 1 会話、各ファイルは通常のエンジンで計算しています。
固定の設定
- モデルQwen3-32B
- ハードウェアNVIDIA H100 80GB SXM
- 量子化BF16 safetensors
- コンテキスト長（キャッシュするトークン数）32,768
- 実行エンジン
vllm - 同時シーケンス数1
- KV Cache の精度fp16
技術識別子と共有データ
- モデル
qwen3-32b - ハードウェア
nvidia-h100-80gb-sxm - 量子化
bf16 - この構成の共有コード
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLTMyYiIsImhhcmR3YXJlSWQiOiJudmlkaWEtaDEwMC04MGdiLXN4bSIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjozMjc2OCwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0
この数値の計算方法
合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。
- 重み（ファイル）
- 61.02 GiB (65,524,246,528 bytes)
- KV キャッシュ
- 8.00 GiB (8,589,934,592 bytes)
- ランタイムのバッファ
- 0.63 GiB–2.74 GiB
- 合計
- 69.65 GiB–71.76 GiB
- 使えるメモリ
- 78.00 GiB
- OS / 画面の予約
- 2.00 GiB
- 残り
- 6.24 GiB–8.35 GiB
高めの見積もり 71.76 GiB／使える容量 78.00 GiB
メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。
- コンテキスト長はネイティブの 40960 トークン以内です。
- 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
- 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
- ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
- ウェイトバイトは公開済み safetensors シャード 17 個、合計 65524246528 バイトです。
- コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
- 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
- KVキャッシュの精度は、変更しない限り重みの量子化とは無関係です。
関連ページ
出典
計算機
組み合わせページはルートのモデルと機材を固定します。変更するにはメイン計算機でカスタマイズし、共有がその身元を保持します。
公開カタログスナップショットを読み込み中…
モデルを選ぶと必要なメモリがわかります。
モデルを選ぶと必要なメモリがわかります。