KVキャッシュ：ローカルLLMで増えるVRAM
KVキャッシュはコンテキスト長に比例して増えます。標準の GQA では 2 × 層数 × KVヘッド数 × ヘッド次元 × キャッシュするトークン数 × シーケンス数 × 要素あたりのバイト数で、FP16 は 1 要素 2 バイトです。
KVキャッシュ：ローカルLLMで増えるVRAM
2 × 28 × 4 × 128 × 8192 × 1 × 2
KV Cache（生データ）
0.4375 GiB
469,762,048 bytes
- アテンション：gqa。対応状況：full。GQA 式は適用される。
- クエリヘッド 28、KVヘッド 4。 クエリヘッドで数えると 3.06 GiB になります。
- コンテキストの種類：native。ネイティブのコンテキスト長 32,768。 拡張コンテキストの記録はありません。
- これは見積もりであり、実機トレースではありません。
構造
推定占有量
| モデル | 構造 | 8,192 FP16 | 32,768 FP16 |
|---|---|---|---|
| Qwen2.5-7B-Instruct | 28 × 4 × 128 | 469,762,048 (0.4375 GiB) | 1,879,048,192 (1.7500 GiB) |
| Qwen2.5-14B-Instruct | 48 × 8 × 128 | 1,610,612,736 (1.5000 GiB) | 6,442,450,944 (6.00 GiB) |
| Qwen2.5-32B-Instruct | 64 × 8 × 128 | 2,147,483,648 (2.00 GiB) | 8,589,934,592 (8.00 GiB) |
| Qwen3-8B | 36 × 8 × 128 | 1,207,959,552 (1.1250 GiB) | 4,831,838,208 (4.5000 GiB) |