Qwen3-VL-8B-Instruct の VRAM・メモリ要件

動く構成

• Qwen3-VL-8B-Instruct は RTX 5090 で動きますか？
• Qwen3-VL-8B-Instruct は RTX 4070 で動きますか？

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact

4.68 GiB (5,027,784,800 bytes)

Raw KV cache

1.13 GiB (1,207,959,552 bytes)

Engine extras / workspace

0.13 GiB–0.67 GiB

Total estimated demand

5.93 GiB–6.48 GiB

計上したファイル

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

KV Cache（生データ）

標準の GQA/MHA 生 KV は 2 × 層数 × kvHeads × headDim × トークン数 × シーケンス数 × 要素バイトです。このページは query heads（32）ではなく KV heads（8）を使います。

• 8,192 tokens, 1 sequence, FP16: 1,207,959,552 bytes (1.1250 GiB)
• 32,768 tokens: 4,831,838,208 bytes (4.5000 GiB)

関連ページ

• Qwen3-8B のモデルページ
• KVキャッシュ計算機
• 4-bit、8-bit、FP16のメモリ（英語）
• ファイルサイズは実行時のVRAMではない（英語）
• 算出方法
• Qwen3-VL-8B-Instruct は RTX 5090 で動きますか？
• Qwen3-VL-8B-Instruct は RTX 4070 で動きますか？

出典

• 出典
• 出典 — revision 0c351dd01ed87e9c1b53cbc748cba10e6187ff3b
• 出典 — metadata.total_size=17534247392
• 出典
• 出典

結果を左右する前提

• 要求コンテキストは記録上のネイティブ窓 262144 トークン以内です。
• 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
• ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
• ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
• 計上したファイル: Qwen3VL-8B-Instruct-Q4_K_M.gguf。
• 視覚コンポーネントがあります。テキスト推論ではエンコーダ/projector を含めません。
• コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
• 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。

計算機