Qwen2.5-0.5B-Instructの必要VRAM
Qwen2.5-0.5B-Instruct は Q4_K_M、8K コンテキストで約 1.1 GiB の VRAM が必要です。8 GB のグラボ（RTX 4060 など）で足ります。32K コンテキストでは約 1.4 GiB で、8 GB のグラボに収まります。
これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法
量子化ごとの VRAM
| 量子化 | ファイルサイズ | 8K の合計 | 32K の合計 |
|---|---|---|---|
| BF16 safetensors | 1.0 GB | 1.6 GiB–3.5 GiB | 1.9 GiB–3.8 GiB |
| GGUF Q8_0 (Qwen) | 0.7 GB | 0.8 GiB–1.2 GiB | 1.1 GiB–1.5 GiB |
| GGUF Q6_K (Qwen) | 0.7 GB | 0.8 GiB–1.2 GiB | 1.1 GiB–1.5 GiB |
| GGUF Q5_K_M (Qwen) | 0.5 GB | 0.7 GiB–1.1 GiB | 1.0 GiB–1.4 GiB |
| GGUF Q4_K_M (Qwen) | 0.5 GB | 0.7 GiB–1.1 GiB | 1.0 GiB–1.4 GiB |
Q4_K_M や Q8_0 は量子化レベルです。重みあたりのビット数が少ないほどファイルは小さくなり、品質が少し落ちます。合計には KV キャッシュ（コンテキスト長に応じて増えるメモリ）とランタイムのバッファを含み、同時に 1 会話で計算しています。 ダウンロードファイル
動かせるグラボ
| メモリ | 使える量 | 例 | 8K | 32K |
|---|---|---|---|---|
| 8 GB | 7.0 GiB | RTX 4060, RTX 3060, RTX 5060 Ti ほか 1 製品 | 余裕あり | 余裕あり |
| 10 GB | 9.0 GiB | RTX 3080 | 余裕あり | 余裕あり |
| 12 GB | 11.0 GiB | RTX 4070, RTX 3060, RTX 5070 ほか 2 製品 | 余裕あり | 余裕あり |
| 16 GB | 14.0 GiB | RTX 4080 SUPER, RTX 5080, RX 7800 XT ほか 5 製品 | 余裕あり | 余裕あり |
| 16 GB | 15.0 GiB | RTX 4060 Ti, RTX 4070 Ti SUPER | 余裕あり | 余裕あり |
| 20 GB | 18.0 GiB | RX 7900 XT | 余裕あり | 余裕あり |
| 24 GB | 22.0 GiB | RTX 4090, RX 7900 XTX, RTX 3090 | 余裕あり | 余裕あり |
| 32 GB | 30.0 GiB | RTX 5090 | 余裕あり | 余裕あり |
| 48 GB | 46.0 GiB | L40S | 余裕あり | 余裕あり |
| 80 GB | 78.0 GiB | A100, H100 | 余裕あり | 余裕あり |
| 64 GB · ユニファイド | 54.0 GiB | Apple M2 Max | 余裕あり | 余裕あり |
| 128 GB · ユニファイド | 96.0 GiB | Ryzen AI Max+ 395 | 余裕あり | 余裕あり |
| 128 GB · ユニファイド | 112.0 GiB | DGX Spark (GB10) | 余裕あり | 余裕あり |
| 128 GB · ユニファイド | 116.0 GiB | Apple M4 Max | 余裕あり | 余裕あり |
GGUF Q4_K_M (Qwen)、同時に 1 会話。使えるメモリは総量から OS と画面表示用の既定の予約分を引いた値です。
アーキテクチャ
- 提供元Qwen
- Hugging Face
Qwen/Qwen2.5-0.5B-Instruct - 総パラメータ数494,032,768
- 層数24
- クエリヘッド14
- KVヘッド2 (gqa)
- ヘッド次元64
- コンテキスト長32,768
KV キャッシュはコンテキストに応じて増えます。FP16 で 8K なら約 0.1 GiB、32K なら約 0.4 GiB です。 クエリヘッド 14 個に対して KV ヘッドは 2 個（グループ化クエリアテンション）なので、このキャッシュは小さく済みます。
よくある質問
ダウンロードサイズと VRAM 使用量は同じ？
同じではありません。Q4_K_M のファイルは約 0.5 GiB ですが、8K コンテキストでは合計約 1.1 GiB になります。KV キャッシュとランタイムのバッファが重みに上乗せされるためです。
コンテキストを長くするとメモリはどれだけ増える？
Qwen2.5-0.5B-Instruct の KV キャッシュは FP16 で 8K なら約 0.1 GiB、32K なら約 0.4 GiB です。重みのサイズは変わりません。
どの量子化を選べばいい？
まず Q4_K_M（8K で約 1.1 GiB）から。メモリに余裕があれば、BF16 は約 3.5 GiB で、元の重みにより近くなります。
ダウンロードファイル
| 量子化 | ファイル | ファイルサイズ | エンジン |
|---|---|---|---|
| BF16 safetensors | model.safetensors | 0.99 GB 988,097,824 bytes | vllm |
| GGUF Q8_0 (Qwen) | qwen2.5-0.5b-instruct-q8_0.gguf | 0.68 GB 675,710,816 bytes | llama.cpp, ollama |
| GGUF Q6_K (Qwen) | qwen2.5-0.5b-instruct-q6_k.gguf | 0.65 GB 650,379,104 bytes | llama.cpp, ollama |
| GGUF Q5_K_M (Qwen) | qwen2.5-0.5b-instruct-q5_k_m.gguf | 0.52 GB 522,186,592 bytes | llama.cpp, ollama |
| GGUF Q4_K_M (Qwen) | qwen2.5-0.5b-instruct-q4_k_m.gguf | 0.49 GB 491,400,032 bytes | llama.cpp, ollama |
この数値の計算方法
合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。
GGUF Q4_K_M (Qwen) · 8,192 tokens · llama.cpp
- 重み（ファイル）
- 0.46 GiB (491,400,032 bytes)
- KV キャッシュ
- 0.09 GiB (100,663,296 bytes)
- ランタイムのバッファ
- 0.13 GiB–0.52 GiB
- 合計
- 0.68 GiB–1.07 GiB
- コンテキスト長はネイティブの 32768 トークン以内です。
- 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
- 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
- ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
- 計上したファイル: qwen2.5-0.5b-instruct-q4_k_m.gguf。
- コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
- 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
- KVキャッシュの精度は、変更しない限り重みの量子化とは無関係です。
関連ページ
出典
計算機
公開カタログスナップショットを読み込み中…
モデルを選ぶと必要なメモリがわかります。