VRAM-Bedarf von Qwen2.5-72B-Instruct

Qwen2.5-72B-Instruct braucht mit Q4_K_M und 8K Kontext etwa 45 GiB Grafikspeicher. Auf einer Karte mit 48 GB wie der L40S wird es knapp; eine Karte mit 80 GB wie die A100 hat genug Platz. Mit 32K Kontext braucht es etwa 53 GiB; das passt auf eine Karte mit 80 GB.

Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir

VRAM nach Quantisierung

QuantisierungDateigrößeSumme bei 8KSumme bei 32K
BF16 safetensors145,4 GB138,6 GiB–140,5 GiB146,1 GiB–148,2 GiB
GGUF Q8_0 (Qwen)77,5 GB74,8 GiB–76,8 GiB82,3 GiB–84,8 GiB
GGUF Q6_K (Qwen)59,9 GB58,4 GiB–60,0 GiB65,9 GiB–68,1 GiB
GGUF Q5_K_M (Qwen)51,7 GB50,8 GiB–52,3 GiB58,3 GiB–60,3 GiB
GGUF Q4_K_M44,0 GB43,6 GiB–45,0 GiB51,1 GiB–53,0 GiB

Namen wie Q4_K_M und Q8_0 sind Quantisierungsstufen: weniger Bits pro Gewicht ergeben eine kleinere Datei und etwas weniger Qualität. Die Summen enthalten den KV-Cache (Speicher, der mit der Kontextlänge wächst) und Laufzeitpuffer, für einen Chat gleichzeitig. Dateien zum Herunterladen

Welche Grafikkarten es schaffen

SpeicherNutzbarBeispieleBei 8KBei 32K
8 GB7,0 GiBRTX 4060, RTX 3060, RTX 5060 Ti +1 weiterePasst nichtPasst nicht
10 GB9,0 GiBRTX 3080Passt nichtPasst nicht
12 GB11,0 GiBRTX 4070, RTX 3060, RTX 5070 +2 weiterePasst nichtPasst nicht
16 GB14,0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT +5 weiterePasst nichtPasst nicht
16 GB15,0 GiBRTX 4060 Ti, RTX 4070 Ti SUPERPasst nichtPasst nicht
20 GB18,0 GiBRX 7900 XTPasst nichtPasst nicht
24 GB22,0 GiBRTX 4090, RX 7900 XTX, RTX 3090Passt nichtPasst nicht
32 GB30,0 GiBRTX 5090Passt nichtPasst nicht
48 GB46,0 GiBL40SKnappPasst nicht
80 GB78,0 GiBA100, H100Läuft mit LuftLäuft mit Luft
64 GB · Unified54,0 GiBApple M2 MaxPasstKnapp
128 GB · Unified96,0 GiBRyzen AI Max+ 395Läuft mit LuftLäuft mit Luft
128 GB · Unified112,0 GiBDGX Spark (GB10)Läuft mit LuftLäuft mit Luft
128 GB · Unified116,0 GiBApple M4 MaxLäuft mit LuftLäuft mit Luft

GGUF Q4_K_M, ein Chat gleichzeitig. Nutzbar ist der Gesamtspeicher minus eine Standardreserve für Betriebssystem und Anzeige.

Einzelne Kombinationen

Architektur

Der KV-Cache wächst mit dem Kontext: in FP16 etwa 2,5 GiB bei 8K und 10 GiB bei 32K. Das Modell hat 8 KV-Heads für 64 Query-Heads (Grouped-Query Attention), das hält diesen Cache klein.

Häufige Fragen

Ist die Downloadgröße gleich dem VRAM-Bedarf?

Nein. Die Q4_K_M-Datei hat etwa 41 GiB, aber mit 8K Kontext liegt die Summe bei etwa 45 GiB, weil KV-Cache und Laufzeitpuffer dazukommen.

Wie viel Speicher kostet ein längerer Kontext?

Bei Qwen2.5-72B-Instruct ist der KV-Cache in FP16 etwa 2,5 GiB bei 8K Tokens und 10 GiB bei 32K. Die Gewichte bleiben gleich groß.

Welche Quantisierung soll ich nehmen?

Fang mit Q4_K_M an (etwa 45 GiB bei 8K). Wenn der Speicher reicht, braucht BF16 etwa 140,5 GiB und bleibt näher an den Originalgewichten.

Dateien zum Herunterladen

QuantisierungDateienDateigrößeEngine
BF16 safetensors
37 Safetensors-Shards
Erster Shard: model-00001-of-00037.safetensors
Letzter Shard: model-00037-of-00037.safetensors
Alle 37 Shard-Dateien anzeigen
  • model-00001-of-00037.safetensors
  • model-00002-of-00037.safetensors
  • model-00003-of-00037.safetensors
  • model-00004-of-00037.safetensors
  • model-00005-of-00037.safetensors
  • model-00006-of-00037.safetensors
  • model-00007-of-00037.safetensors
  • model-00008-of-00037.safetensors
  • model-00009-of-00037.safetensors
  • model-00010-of-00037.safetensors
  • model-00011-of-00037.safetensors
  • model-00012-of-00037.safetensors
  • model-00013-of-00037.safetensors
  • model-00014-of-00037.safetensors
  • model-00015-of-00037.safetensors
  • model-00016-of-00037.safetensors
  • model-00017-of-00037.safetensors
  • model-00018-of-00037.safetensors
  • model-00019-of-00037.safetensors
  • model-00020-of-00037.safetensors
  • model-00021-of-00037.safetensors
  • model-00022-of-00037.safetensors
  • model-00023-of-00037.safetensors
  • model-00024-of-00037.safetensors
  • model-00025-of-00037.safetensors
  • model-00026-of-00037.safetensors
  • model-00027-of-00037.safetensors
  • model-00028-of-00037.safetensors
  • model-00029-of-00037.safetensors
  • model-00030-of-00037.safetensors
  • model-00031-of-00037.safetensors
  • model-00032-of-00037.safetensors
  • model-00033-of-00037.safetensors
  • model-00034-of-00037.safetensors
  • model-00035-of-00037.safetensors
  • model-00036-of-00037.safetensors
  • model-00037-of-00037.safetensors
145,41 GB
145.412.407.296 bytes
vllm, sglang
GGUF Q8_0 (Qwen)
21 Safetensors-Shards
Erster Shard: qwen2.5-72b-instruct-q8_0-00001-of-00021.gguf
Letzter Shard: qwen2.5-72b-instruct-q8_0-00021-of-00021.gguf
Alle 21 Shard-Dateien anzeigen
  • qwen2.5-72b-instruct-q8_0-00001-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00002-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00003-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00004-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00005-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00006-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00007-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00008-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00009-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00010-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00011-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00012-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00013-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00014-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00015-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00016-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00017-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00018-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00019-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00020-of-00021.gguf
  • qwen2.5-72b-instruct-q8_0-00021-of-00021.gguf
77,53 GB
77.530.000.800 bytes
llama.cpp, ollama
GGUF Q6_K (Qwen)
16 Safetensors-Shards
Erster Shard: qwen2.5-72b-instruct-q6_k-00001-of-00016.gguf
Letzter Shard: qwen2.5-72b-instruct-q6_k-00016-of-00016.gguf
Alle 16 Shard-Dateien anzeigen
  • qwen2.5-72b-instruct-q6_k-00001-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00002-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00003-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00004-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00005-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00006-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00007-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00008-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00009-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00010-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00011-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00012-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00013-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00014-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00015-of-00016.gguf
  • qwen2.5-72b-instruct-q6_k-00016-of-00016.gguf
59,86 GB
59.861.035.808 bytes
llama.cpp, ollama
GGUF Q5_K_M (Qwen)
14 Safetensors-Shards
Erster Shard: qwen2.5-72b-instruct-q5_k_m-00001-of-00014.gguf
Letzter Shard: qwen2.5-72b-instruct-q5_k_m-00014-of-00014.gguf
Alle 14 Shard-Dateien anzeigen
  • qwen2.5-72b-instruct-q5_k_m-00001-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00002-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00003-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00004-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00005-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00006-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00007-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00008-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00009-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00010-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00011-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00012-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00013-of-00014.gguf
  • qwen2.5-72b-instruct-q5_k_m-00014-of-00014.gguf
51,67 GB
51.673.983.488 bytes
llama.cpp, ollama
GGUF Q4_K_M
12 Safetensors-Shards
Erster Shard: qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf
Letzter Shard: qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf
Alle 12 Shard-Dateien anzeigen
  • qwen2.5-72b-instruct-q4_k_m-00001-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00002-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00003-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00004-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00005-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00006-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00007-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00008-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00009-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00010-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00011-of-00012.gguf
  • qwen2.5-72b-instruct-q4_k_m-00012-of-00012.gguf
44,01 GB
44.010.465.472 bytes
llama.cpp, ollama
So kommt die Zahl zustande

Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.

GGUF Q4_K_M · 8.192 tokens · llama.cpp

Gewichte (Datei)
40,99 GiB (44.010.465.472 bytes)
KV-Cache
2,50 GiB (2.684.354.560 bytes)
Laufzeitpuffer
0,13 GiB–1,49 GiB
Summe
43,61 GiB–44,98 GiB
  • Der Kontext liegt im nativen Fenster von 32768 Tokens.
  • Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
  • Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
  • Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
  • Gewichtbytes stammen aus 12 veröffentlichten Safetensors-Shards, zusammen 44010465472 Bytes.
  • Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
  • Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
  • Die KV-Präzision hängt nicht von der Quantisierung der Gewichte ab, solange Sie sie nicht ändern.

So rechnen wir

Rechner mit diesem Modell öffnen

Verwandte Seiten

Quellen

Rechner

Katalog-Snapshot wird geladen…

Kontextlänge

Mehr Kontext braucht mehr Speicher für den KV-Cache, das Arbeitsgedächtnis des Modells für die Unterhaltung.

Weitere Optionen
Quantisierung
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.