RTX 4070 上の Qwen3-8B-Base：余裕あり（2026年9月）
1つの設定に対する条件付きの判断です。コンテキスト・量子化・エンジンを変えると結論も変わります。 このページの設定: GGUF Q4_K_M (mradermacher)、キャッシュ 8,192 トークン、シーケンス 1、エンジン llama.cpp。 判定: 載る見込み。ソフトウェア: 未確認。.
載る見込み未確認これは見積もりであり、実機トレースではありません。
このページの固定設定
- モデルQwen3-8B-Base
- ハードウェアGeForce RTX 4070 12GB (desktop, GDDR6X)
- 量子化GGUF Q4_K_M (mradermacher)
- コンテキスト長（キャッシュするトークン数）8,192
- 実行エンジン
llama.cpp - 同時シーケンス数1
- KV Cache の精度fp16
技術識別子と共有データ
- モデル
qwen3-8b-base - ハードウェア
nvidia-geforce-rtx-4070-12gb-desktop - 量子化
gguf-q4_k_m - この構成の共有フラグメント
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLThiLWJhc2UiLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTQwNzAtMTJnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZ2d1Zi1xNF9rX20iLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJsbGFtYS5jcHAiLCJrdlR5cGUiOiJmcDE2In19
メモリ内訳
- Weight artifact
- 4.68 GiB (5,027,783,936 bytes)
- Raw KV cache
- 1.13 GiB (1,207,959,552 bytes)
- Engine extras / workspace
- 0.13 GiB–0.67 GiB
- Total estimated demand
- 5.93 GiB–6.48 GiB
- Net calculator budget
- 11.00 GiB
- OS / display reserve
- 1.00 GiB
- Remaining vs net budget
- 4.52 GiB–5.07 GiB
高い見積もり 6.48 GiB、正味 11.00 GiB
メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。
このデバイスでのほかの公開ファイル
同じモデル・デバイス・コンテキスト（8,192 トークン、1 シーケンス、FP16 KV）。各行は公開済みの重みファイル一式とその標準エンジンで、メモリの大きい順に並べています。
| 量子化 | 実行エンジン | 推定メモリ | 適合 |
|---|---|---|---|
| BF16 safetensors | vllm | 17.01 GiB–18.92 GiB | 収まらない |
| GGUF Q8_0 (mradermacher) | llama.cpp | 9.36 GiB–9.98 GiB | ぎりぎり |
| GGUF Q6_K (mradermacher) | llama.cpp | 7.51 GiB–8.09 GiB | 収まる |
| GGUF Q5_K_M (mradermacher) | llama.cpp | 6.70 GiB–7.26 GiB | 余裕あり |
| GGUF Q4_K_M (mradermacher) このページ | llama.cpp | 5.93 GiB–6.48 GiB | 余裕あり |
結果を左右する前提
- 要求コンテキストは記録上のネイティブ窓 32768 トークン以内です。
- 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
- ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
- ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
- 計上したファイル: Qwen3-8B-Base.Q4_K_M.gguf。
- コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
- 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
- KV の型は、変更しない限りウェイト量子化とは独立です。
関連ページ
出典
計算機
組み合わせページはルートのモデルと機材を固定します。変更するにはメイン計算機でカスタマイズし、共有がその身元を保持します。
公開カタログスナップショットを読み込み中…
検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。
検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。