Qwen3-VL-30B-A3B-Instruct の必要VRAMは 18.93 GiB

必要VRAM 18.93 GiB。Qwen3-VL-30B-A3B-Instruct Q4_K_M を 8,192 トークンで見積もると 18.16 GiB–18.93 GiB。リポジトリ Qwen/Qwen3-VL-30B-A3B-Instruct。ファイルは 18,556,687,168 バイト。グラボ未選択のため需要のみで、収まるかは示さない。

出典付きの構成と、選択した重みファイルに基づく具体的なチェックポイントです。 GGUF Q4_K_M (Qwen)：8,192 トークンで約 18.16 GiB–18.93 GiB、シーケンス 1、FP16 KV、llama.cpp。

これは見積もりであり、実機トレースではありません。未確認ファイル由来の重み

公開元と出典

この MoE は総パラメータ 31,070,754,032、アクティブ 3,000,000,000 です。アクティブ側の計算量はウェイト常駐メモリに使いません。 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact
17.28 GiB (18,556,687,168 bytes)
Raw KV cache
0.75 GiB (805,306,368 bytes)
Engine extras / workspace
0.13 GiB–0.90 GiB
Total estimated demand
18.16 GiB–18.93 GiB

計上したファイル

量子化計上したファイルバイト実行エンジン根拠
BF16 safetensors
bf16
safetensors シャード 13 件
選択したバイトの合計：62,141,508,064 (57.87 GiB / 62.14 GB)
先頭のシャード：model-00001-of-00013.safetensors
末尾のシャード：model-00013-of-00013.safetensors
シャードファイル 13 件をすべて表示
  • model-00001-of-00013.safetensors
  • model-00002-of-00013.safetensors
  • model-00003-of-00013.safetensors
  • model-00004-of-00013.safetensors
  • model-00005-of-00013.safetensors
  • model-00006-of-00013.safetensors
  • model-00007-of-00013.safetensors
  • model-00008-of-00013.safetensors
  • model-00009-of-00013.safetensors
  • model-00010-of-00013.safetensors
  • model-00011-of-00013.safetensors
  • model-00012-of-00013.safetensors
  • model-00013-of-00013.safetensors
62,141,508,064 (57.87 GiB / 62.14 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q4_K_M (Qwen)
gguf-q4_k_m
Qwen3VL-30B-A3B-Instruct-Q4_K_M.gguf18,556,687,168 (17.28 GiB / 18.56 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Qwen)
gguf-q8_0
Qwen3VL-30B-A3B-Instruct-Q8_0.gguf32,483,932,992 (30.25 GiB / 32.48 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (Unsloth)
gguf-q5_k_m
Qwen3-VL-30B-A3B-Instruct-Q5_K_M.gguf21,725,583,072 (20.23 GiB / 21.73 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (Unsloth)
gguf-q6_k
Qwen3-VL-30B-A3B-Instruct-Q6_K.gguf25,092,533,984 (23.37 GiB / 25.09 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoretical公開ファイルなし15,535,377,016 (理論行はダウンロード可能な成果物ではありません。)—theoretical

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

量子化2,048 tokens8,192 tokens32,768 tokens
BF16 safetensors58.69 GiB–60.57 GiB59.25 GiB–61.15 GiB61.50 GiB–63.46 GiB
GGUF Q4_K_M (Qwen)17.59 GiB–18.32 GiB18.16 GiB–18.93 GiB20.41 GiB–21.34 GiB
GGUF Q8_0 (Qwen)30.57 GiB–31.55 GiB31.13 GiB–32.16 GiB33.38 GiB–34.57 GiB
GGUF Q5_K_M (Unsloth)20.55 GiB–21.33 GiB21.11 GiB–21.94 GiB23.36 GiB–24.35 GiB
GGUF Q6_K (Unsloth)23.68 GiB–24.53 GiB24.24 GiB–25.14 GiB26.49 GiB–27.55 GiB
INT4 theoretical
理論行はダウンロード可能な成果物ではありません。
14.78 GiB–19.43 GiB15.34 GiB–20.13 GiB17.59 GiB–22.90 GiB

KV Cache（生データ）

標準の GQA/MHA 生 KV は 2 × 層数 × kvHeads × headDim × トークン数 × シーケンス数 × 要素バイトです。このページは query heads（32）ではなく KV heads（4）を使います。

このモデルで計算機を開く

関連ページ

出典

結果を左右する前提

計算機

公開カタログスナップショットを読み込み中…

モデルを先に選び、その後で機器を確認します。

量子化

機材の種類

ワークロード

コンテキスト長は主に KV キャッシュメモリに効きます。

詳細設定
ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

GiB（2^30 バイト）

%

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ブラウザ内だけで解析します。ファイルは送信しません。

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。