Llama 3.3 70B Instruct: VRAM- und Speicherbedarf

Speicherschichten in dieser Schätzung

Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.

Weight artifact

131,42 GiB (141.107.497.872 bytes)

Raw KV cache

2,50 GiB (2.684.354.560 bytes)

Engine extras / workspace

0,63 GiB–2,58 GiB

Total estimated demand

134,54 GiB–136,49 GiB

Gewählte Dateien

Speicher nach Quantisierung und Kontext

Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.

KV-Cache (Rohdaten)

Rohes GQA/MHA-KV ist 2 × Schichten × kvHeads × headDim × Tokens × Sequenzen × Bytes je Element. Diese Seite nutzt KV-Heads (8), nicht Query-Heads (64).

• 8,192 tokens, 1 sequence, FP16: 2.684.354.560 bytes (2,5000 GiB)
• 32,768 tokens: 10.737.418.240 bytes (10,00 GiB)

Verwandte Seiten

• KV-Cache-Rechner
• Speicher bei 4-bit, 8-bit und FP16 (Englisch)
• Dateigröße ist nicht Laufzeit-VRAM (Englisch)
• Methodik

Quellen

• Llama 3.3 70B Instruct model card (Meta) — Context length 128k, GQA, Llama 3.3 Community License. Parameters as printed on the card.
• Meta llama-models sku_list.py (architecture arguments) — arch_args dim=8192, n_layers=80, n_heads=64, n_kv_heads=8. head_dim is dim ÷ n_heads = 128 (Meta's reference model derives it that way; sku_list.py has no head_dim key). The Hugging Face config.json is gated (HTTP 401), so it was not read.
• Hugging Face API — sha 6f6073b423013f6a7d4d9f39144961bfbfbc386b; gated manual; safetensors.total=70553706496; 30 safetensors siblings.
• Cross-check only: GGUF header of a community conversion (not an official source) — Header read with an HTTP range request on 2026-10-18; it agrees with Meta's numbers: block_count 80, head_count 64, head_count_kv 8, embedding_length 8192, context_length 131072, key_length 128. The catalog values above come from Meta, not from this file.
• Hugging Face model page — Gated (manual). Llama 3.3 Community License applies; this page states facts only and does not redistribute the weights.

Annahmen, die das Ergebnis beeinflussen

• Der Kontext liegt im dokumentierten nativen Fenster von 131072 Tokens.
• Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
• Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
• Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
• Gewichtbytes stammen aus 30 veröffentlichten Safetensors-Shards, zusammen 141107497872 Bytes.
• Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
• Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
• Der KV-Datentyp ist unabhängig von der Gewichtquantisierung, außer Sie ändern ihn.

Rechner