RTX 4070 上の Qwen3-VL-8B-Instruct：余裕あり（2026年9月）
1つの設定に対する条件付きの判断です。コンテキスト・量子化・エンジンを変えると結論も変わります。 このページの設定: GGUF Q4_K_M (Qwen)、キャッシュ 8,192 トークン、シーケンス 1、エンジン llama.cpp。 判定: 載る見込み。ソフトウェア: 未確認。.
載る見込み未確認これは見積もりであり、実機トレースではありません。
このページの固定設定
- モデルQwen3-VL-8B-Instruct
- ハードウェアGeForce RTX 4070 12GB (desktop, GDDR6X)
- 量子化GGUF Q4_K_M (Qwen)
- コンテキスト長（キャッシュするトークン数）8,192
- 実行エンジン
llama.cpp - 同時シーケンス数1
- KV Cache の精度fp16
技術識別子と共有データ
- モデル
qwen3-vl-8b-instruct - ハードウェア
nvidia-geforce-rtx-4070-12gb-desktop - 量子化
gguf-q4_k_m - この構成の共有フラグメント
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLXZsLThiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC00MDcwLTEyZ2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
メモリ内訳
- Weight artifact
- 4.68 GiB (5,027,784,800 bytes)
- Raw KV cache
- 1.13 GiB (1,207,959,552 bytes)
- Engine extras / workspace
- 0.13 GiB–0.67 GiB
- Total estimated demand
- 5.93 GiB–6.48 GiB
- Net calculator budget
- 11.00 GiB
- OS / display reserve
- 1.00 GiB
- Remaining vs net budget
- 4.52 GiB–5.07 GiB
高い見積もり 6.48 GiB、正味 11.00 GiB
メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。
このデバイスでのほかの公開ファイル
同じモデル・デバイス・コンテキスト（8,192 トークン、1 シーケンス、FP16 KV）。各行は公開済みの重みファイル一式とその標準エンジンで、メモリの大きい順に並べています。
| 量子化 | 実行エンジン | 推定メモリ | 適合 |
|---|---|---|---|
| BF16 safetensors | vllm | 18.08 GiB–19.99 GiB | 収まらない |
| GGUF Q8_0 (Qwen) | llama.cpp | 9.36 GiB–9.98 GiB | ぎりぎり |
| GGUF Q6_K (Unsloth) | llama.cpp | 7.51 GiB–8.09 GiB | 収まる |
| GGUF Q5_K_M (Unsloth) | llama.cpp | 6.70 GiB–7.26 GiB | 余裕あり |
| GGUF Q4_K_M (Qwen) このページ | llama.cpp | 5.93 GiB–6.48 GiB | 余裕あり |
結果を左右する前提
- 要求コンテキストは記録上のネイティブ窓 262144 トークン以内です。
- 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
- ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
- ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
- 計上したファイル: Qwen3VL-8B-Instruct-Q4_K_M.gguf。
- 視覚コンポーネントがあります。テキスト推論ではエンコーダ/projector を含めません。
- コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
- 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
関連ページ
出典
計算機
組み合わせページはルートのモデルと機材を固定します。変更するにはメイン計算機でカスタマイズし、共有がその身元を保持します。
公開カタログスナップショットを読み込み中…
検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。
検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。