Caché KV: memoria extra de un LLM en local

La caché KV crece en proporción a la longitud de contexto. Con GQA: 2 × capas × KV heads × headDim × tokens en caché × secuencias × bytes por elemento; en FP16 son 2 bytes por elemento.

Caché KV: memoria extra de un LLM en local

2 × 28 × 4 × 128 × 8192 × 1 × 2

Caché KV (datos brutos)
0,4375 GiB

469.762.048 bytes

  • Tipo de atención: gqa. Soporte: full. Fórmula GQA: se aplica.
  • Query heads 28 frente a KV heads 4. Contar con query heads daría 3,06 GiB.
  • Tipo de contexto: native. Ventana nativa: 32.768. No hay ventana extendida documentada.
  • Este resultado es una estimación, no una traza medida.

Geometría

2
K + V
layers
Capas
kvHeads
Cabezas KV
headDim
Dimensión de cabeza
cachedTokens
Longitud de contexto (tokens en caché)
sequences
Secuencias simultáneas
bytes
FP16/BF16 = 2 · FP8/INT8 = 1

Ocupación estimada

ModeloGeometría8,192 FP1632,768 FP16
Qwen2.5-7B-Instruct28 × 4 × 128469.762.048 (0,4375 GiB)1.879.048.192 (1,7500 GiB)
Qwen2.5-14B-Instruct48 × 8 × 1281.610.612.736 (1,5000 GiB)6.442.450.944 (6,00 GiB)
Qwen2.5-32B-Instruct64 × 8 × 1282.147.483.648 (2,00 GiB)8.589.934.592 (8,00 GiB)
Qwen3-8B36 × 8 × 1281.207.959.552 (1,1250 GiB)4.831.838.208 (4,5000 GiB)
CalculadoraGuías

Siguiente