KV-Cache: Speicher für den Kontext eines lokalen LLM

Der KV-Cache wächst linear mit der Kontextlänge. Bei GQA gilt: 2 × Schichten × KV-Heads × Head-Dim × gecachte Tokens × Sequenzen × Bytes pro Element. FP16 sind 2 Bytes pro Element.

KV-Cache: Speicher für den Kontext eines lokalen LLM

2 × 28 × 4 × 128 × 8192 × 1 × 2

KV-Cache (Rohdaten)
0,4375 GiB

469.762.048 bytes

  • Attention-Typ: gqa. Unterstützung: full. GQA-Formel gilt.
  • 28 Query-Heads, 4 KV-Heads. Mit Query-Heads wären es 3,06 GiB.
  • Kontexttyp: native. Natives Fenster: 32.768. Kein erweitertes Kontextfenster dokumentiert.
  • Das Ergebnis ist eine Schätzung, keine Messung.

Geometrie

2
K + V
layers
Schichten
kvHeads
KV-Köpfe
headDim
Kopfdimension
cachedTokens
Kontextlänge (zwischengespeicherte Tokens)
sequences
Gleichzeitige Sequenzen
bytes
FP16/BF16 = 2 · FP8/INT8 = 1

Geschätzter Bedarf

ModellGeometrie8,192 FP1632,768 FP16
Qwen2.5-7B-Instruct28 × 4 × 128469.762.048 (0,4375 GiB)1.879.048.192 (1,7500 GiB)
Qwen2.5-14B-Instruct48 × 8 × 1281.610.612.736 (1,5000 GiB)6.442.450.944 (6,00 GiB)
Qwen2.5-32B-Instruct64 × 8 × 1282.147.483.648 (2,00 GiB)8.589.934.592 (8,00 GiB)
Qwen3-8B36 × 8 × 1281.207.959.552 (1,1250 GiB)4.831.838.208 (4,5000 GiB)
RechnerLeitfäden

Weiter