RTX 4090でQwen3-30B-A3Bは動く？
動きます Qwen3-30B-A3B の Q4_K_M は 8,192 トークンのコンテキストで 18.16 GiB–18.93 GiB 必要です。RTX 4090 で使えるのは約 22 GiB です。
ファイル：Qwen3-30B-A3B-Q4_K_M.gguf（18.6 GB）。
これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法
残りの余裕
- コンテキストは約 16,384 トークンまで伸ばしても無理なく収まります。
このグラボでのほかのファイル
| 量子化 | ファイルサイズ | エンジン | 合計 | 適合 |
|---|---|---|---|---|
| BF16 safetensors | 61.1 GB | vllm | 58.2 GiB–60.1 GiB | 収まらない |
| GGUF Q8_0 | 32.5 GB | llama.cpp | 31.1 GiB–32.2 GiB | 収まらない |
| GGUF Q6_K (Qwen) | 25.1 GB | llama.cpp | 24.2 GiB–25.1 GiB | 収まらない |
| GGUF Q5_K_M (Qwen) | 21.7 GB | llama.cpp | 21.1 GiB–21.9 GiB | ぎりぎり |
| GGUF Q4_K_M この設定 | 18.6 GB | llama.cpp | 18.2 GiB–18.9 GiB | 収まる |
同じコンテキスト（8,192 トークン）、同時に 1 会話、各ファイルは通常のエンジンで計算しています。
固定の設定
- モデルQwen3-30B-A3B
- ハードウェアGeForce RTX 4090 24GB (desktop)
- 量子化GGUF Q4_K_M
- コンテキスト長（キャッシュするトークン数）8,192
- 実行エンジン
llama.cpp - 同時シーケンス数1
- KV Cache の精度fp16
技術識別子と共有データ
- モデル
qwen3-30b-a3b - ハードウェア
nvidia-geforce-rtx-4090-24gb-desktop - 量子化
gguf-q4_k_m - この構成の共有コード
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLTMwYi1hM2IiLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTQwOTAtMjRnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZ2d1Zi1xNF9rX20iLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJsbGFtYS5jcHAiLCJrdlR5cGUiOiJmcDE2In19
この数値の計算方法
合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。
- 重み（ファイル）
- 17.28 GiB (18,556,685,824 bytes)
- KV キャッシュ
- 0.75 GiB (805,306,368 bytes)
- ランタイムのバッファ
- 0.13 GiB–0.90 GiB
- 合計
- 18.16 GiB–18.93 GiB
- 使えるメモリ
- 22.00 GiB
- OS / 画面の予約
- 2.00 GiB
- 残り
- 3.07 GiB–3.84 GiB
高めの見積もり 18.93 GiB／使える容量 22.00 GiB
メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。
- コンテキスト長はネイティブの 40960 トークン以内です。
- 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
- この MoE は総パラメータ 30532122624、アクティブ 3300000000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。
- 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
- ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
- 計上したファイル: Qwen3-30B-A3B-Q4_K_M.gguf。
- コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
- 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
関連ページ
出典
計算機
組み合わせページはルートのモデルと機材を固定します。変更するにはメイン計算機でカスタマイズし、共有がその身元を保持します。
公開カタログスナップショットを読み込み中…
モデルを選ぶと必要なメモリがわかります。
モデルを選ぶと必要なメモリがわかります。