Cache KV: memória extra para rodar um LLM local

O cache KV cresce junto com o tamanho do contexto. Com GQA: 2 × camadas × KV heads × headDim × tokens em cache × sequências × bytes por elemento; em FP16 são 2 bytes por elemento.

Cache KV: memória extra para rodar um LLM local

2 × 28 × 4 × 128 × 8192 × 1 × 2

Cache KV (dados brutos)
0,4375 GiB

469.762.048 bytes

  • Tipo de atenção: gqa. Suporte: full. Fórmula GQA: vale.
  • Query heads 28 contra KV heads 4. Contar com query heads daria 3,06 GiB.
  • Tipo de contexto: native. Janela nativa: 32.768. Nenhuma janela estendida documentada.
  • Este resultado é uma estimativa, não um rastreio medido.

Geometria

2
K + V
layers
Camadas
kvHeads
Heads KV
headDim
Dimensão do head
cachedTokens
Tamanho de contexto (tokens em cache)
sequences
Sequências simultâneas
bytes
FP16/BF16 = 2 · FP8/INT8 = 1

Ocupação estimada

ModeloGeometria8,192 FP1632,768 FP16
Qwen2.5-7B-Instruct28 × 4 × 128469.762.048 (0,4375 GiB)1.879.048.192 (1,7500 GiB)
Qwen2.5-14B-Instruct48 × 8 × 1281.610.612.736 (1,5000 GiB)6.442.450.944 (6,00 GiB)
Qwen2.5-32B-Instruct64 × 8 × 1282.147.483.648 (2,00 GiB)8.589.934.592 (8,00 GiB)
Qwen3-8B36 × 8 × 1281.207.959.552 (1,1250 GiB)4.831.838.208 (4,5000 GiB)
CalculadoraGuias

Próximo