Qwen3-30B-A3Bの必要VRAM
Qwen3-30B-A3B は Q4_K_M、8K コンテキストで約 18.9 GiB の VRAM が必要です。24 GB のグラボ(RTX 4090 など)で足ります。32K コンテキストでは約 21.3 GiB で、32 GB のグラボに収まります。
これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法
量子化ごとの VRAM
| 量子化 | ファイルサイズ | 8K の合計 | 32K の合計 |
|---|---|---|---|
| BF16 safetensors | 61.1 GB | 58.2 GiB–60.1 GiB | 60.5 GiB–62.5 GiB |
| GGUF Q8_0 | 32.5 GB | 31.1 GiB–32.2 GiB | 33.4 GiB–34.6 GiB |
| GGUF Q6_K (Qwen) | 25.1 GB | 24.2 GiB–25.1 GiB | 26.5 GiB–27.5 GiB |
| GGUF Q5_K_M (Qwen) | 21.7 GB | 21.1 GiB–21.9 GiB | 23.4 GiB–24.3 GiB |
| GGUF Q4_K_M | 18.6 GB | 18.2 GiB–18.9 GiB | 20.4 GiB–21.3 GiB |
Q4_K_M や Q8_0 は量子化レベルです。重みあたりのビット数が少ないほどファイルは小さくなり、品質が少し落ちます。合計には KV キャッシュ(コンテキスト長に応じて増えるメモリ)とランタイムのバッファを含み、同時に 1 会話で計算しています。 ダウンロードファイル
動かせるグラボ
| メモリ | 使える量 | 例 | 8K | 32K |
|---|---|---|---|---|
| 8 GB | 7.0 GiB | RTX 4060, RTX 3060, RTX 5060 Ti ほか 1 製品 | 収まらない | 収まらない |
| 10 GB | 9.0 GiB | RTX 3080 | 収まらない | 収まらない |
| 12 GB | 11.0 GiB | RTX 4070, RTX 3060, RTX 5070 ほか 2 製品 | 収まらない | 収まらない |
| 16 GB | 14.0 GiB | RTX 4080 SUPER, RTX 5080, RX 7800 XT ほか 5 製品 | 収まらない | 収まらない |
| 16 GB | 15.0 GiB | RTX 4060 Ti, RTX 4070 Ti SUPER | 収まらない | 収まらない |
| 20 GB | 18.0 GiB | RX 7900 XT | 収まらない | 収まらない |
| 24 GB | 22.0 GiB | RTX 4090, RX 7900 XTX, RTX 3090 | 収まる | ぎりぎり |
| 32 GB | 30.0 GiB | RTX 5090 | 余裕あり | 収まる |
| 48 GB | 46.0 GiB | L40S | 余裕あり | 余裕あり |
| 80 GB | 78.0 GiB | A100, H100 | 余裕あり | 余裕あり |
| 64 GB · ユニファイド | 54.0 GiB | Apple M2 Max | 余裕あり | 余裕あり |
| 128 GB · ユニファイド | 96.0 GiB | Ryzen AI Max+ 395 | 余裕あり | 余裕あり |
| 128 GB · ユニファイド | 112.0 GiB | DGX Spark (GB10) | 余裕あり | 余裕あり |
| 128 GB · ユニファイド | 116.0 GiB | Apple M4 Max | 余裕あり | 余裕あり |
GGUF Q4_K_M、同時に 1 会話。使えるメモリは総量から OS と画面表示用の既定の予約分を引いた値です。
個別の組み合わせ
アーキテクチャ
- 提供元Qwen
- Hugging Face
Qwen/Qwen3-30B-A3B - 総パラメータ数30,532,122,624
- アクティブパラメータ数3,300,000,000
- 層数48
- クエリヘッド32
- KVヘッド4 (gqa)
- ヘッド次元128
- コンテキスト長40,960
KV キャッシュはコンテキストに応じて増えます。FP16 で 8K なら約 0.8 GiB、32K なら約 3 GiB です。 クエリヘッド 32 個に対して KV ヘッドは 4 個(グループ化クエリアテンション)なので、このキャッシュは小さく済みます。 すべてのエキスパートがメモリに載るため、重みのサイズはアクティブではなく総パラメータ数で決まります。
よくある質問
ダウンロードサイズと VRAM 使用量は同じ?
同じではありません。Q4_K_M のファイルは約 17.3 GiB ですが、8K コンテキストでは合計約 18.9 GiB になります。KV キャッシュとランタイムのバッファが重みに上乗せされるためです。
コンテキストを長くするとメモリはどれだけ増える?
Qwen3-30B-A3B の KV キャッシュは FP16 で 8K なら約 0.8 GiB、32K なら約 3 GiB です。重みのサイズは変わりません。
どの量子化を選べばいい?
まず Q4_K_M(8K で約 18.9 GiB)から。メモリに余裕があれば、BF16 は約 60.1 GiB で、元の重みにより近くなります。
ダウンロードファイル
| 量子化 | ファイル | ファイルサイズ | エンジン |
|---|---|---|---|
| BF16 safetensors | 61.06 GB 61,064,245,248 bytes | vllm, sglang | |
| GGUF Q8_0 | Qwen3-30B-A3B-Q8_0.gguf | 32.48 GB 32,483,931,648 bytes | llama.cpp, ollama |
| GGUF Q6_K (Qwen) | Qwen3-30B-A3B-Q6_K.gguf | 25.09 GB 25,092,531,712 bytes | llama.cpp, ollama |
| GGUF Q5_K_M (Qwen) | Qwen3-30B-A3B-Q5_K_M.gguf | 21.73 GB 21,725,580,800 bytes | llama.cpp, ollama |
| GGUF Q4_K_M | Qwen3-30B-A3B-Q4_K_M.gguf | 18.56 GB 18,556,685,824 bytes | llama.cpp, ollama |
この数値の計算方法
合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。
GGUF Q4_K_M · 8,192 tokens · llama.cpp
- 重み(ファイル)
- 17.28 GiB (18,556,685,824 bytes)
- KV キャッシュ
- 0.75 GiB (805,306,368 bytes)
- ランタイムのバッファ
- 0.13 GiB–0.90 GiB
- 合計
- 18.16 GiB–18.93 GiB
- コンテキスト長はネイティブの 40960 トークン以内です。
- 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
- この MoE は総パラメータ 30532122624、アクティブ 3300000000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。
- 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
- ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
- 計上したファイル: Qwen3-30B-A3B-Q4_K_M.gguf。
- コンテキスト長は、シーケンスごとにキャッシュするトークン数(入力+生成分)です。
- 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
関連ページ
出典
計算機
公開カタログスナップショットを読み込み中…
モデルを選ぶと必要なメモリがわかります。