KV 缓存：本地大模型上下文占多少显存
KV 缓存随上下文长度线性增长。标准 GQA 的算法：2 × 层数 × KV 头数 × 头维度 × 缓存 token 数 × 序列数 × 每元素字节数，FP16 每元素 2 字节。
KV 缓存：本地大模型上下文占多少显存
2 × 28 × 4 × 128 × 8192 × 1 × 2
KV Cache（原始数据）
0.4375 GiB
469,762,048 bytes
- 注意力类型：gqa。支持程度：full。GQA 公式适用。
- 查询头 28 个，KV 头 4 个。 如果按查询头算，会是 3.06 GiB。
- 上下文类型：native。原生窗口 32,768。 没有记录扩展窗口。
- 当前结果是估算，不是对应环境的实测。
结构
估算占用
| 模型 | 结构 | 8,192 FP16 | 32,768 FP16 |
|---|---|---|---|
| Qwen2.5-7B-Instruct | 28 × 4 × 128 | 469,762,048 (0.4375 GiB) | 1,879,048,192 (1.7500 GiB) |
| Qwen2.5-14B-Instruct | 48 × 8 × 128 | 1,610,612,736 (1.5000 GiB) | 6,442,450,944 (6.00 GiB) |
| Qwen2.5-32B-Instruct | 64 × 8 × 128 | 2,147,483,648 (2.00 GiB) | 8,589,934,592 (8.00 GiB) |
| Qwen3-8B | 36 × 8 × 128 | 1,207,959,552 (1.1250 GiB) | 4,831,838,208 (4.5000 GiB) |