Läuft Qwen2.5-7B-Instruct auf RTX 4090?
Ja Qwen2.5-7B-Instruct mit BF16 braucht 15,25 GiB–17,14 GiB bei 8.192 Tokens Kontext. Die RTX 4090 hat etwa 22 GiB nutzbar.
4 Dateien, zusammen 15,2 GB.
Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir
Wie viel Luft bleibt
- Es passt auch mit dem vollen Kontextfenster des Modells von 32.768 Tokens.
Andere Dateien auf dieser Karte
| Quantisierung | Dateigröße | Engine | Summe | Passung |
|---|---|---|---|---|
| BF16 safetensors Aktuelles Setup | 15,2 GB | vllm | 15,2 GiB–17,1 GiB | Passt |
| GGUF Q8_0 | 8,1 GB | llama.cpp | 8,1 GiB–8,7 GiB | Läuft mit Luft |
| GGUF Q6_K (Qwen) | 6,3 GB | llama.cpp | 6,4 GiB–6,9 GiB | Läuft mit Luft |
| GGUF Q5_K_M | 5,4 GB | llama.cpp | 5,6 GiB–6,1 GiB | Läuft mit Luft |
| GGUF Q4_K_M | 4,7 GB | llama.cpp | 4,9 GiB–5,4 GiB | Läuft mit Luft |
Gleicher Kontext (8.192 Tokens), ein Chat gleichzeitig, jede Datei mit ihrer üblichen Engine.
Verwendetes Setup
- ModellQwen2.5-7B-Instruct
- HardwareGeForce RTX 4090 24GB (desktop)
- QuantisierungBF16 safetensors
- Kontextlänge (zwischengespeicherte Tokens)8.192
- Laufzeit
vllm - Gleichzeitige Sequenzen1
- KV-Cache-Typfp16
Technische Kennungen und Freigabedaten
- Modell
qwen2.5-7b-instruct - Hardware
nvidia-geforce-rtx-4090-24gb-desktop - Quantisierung
bf16 - Freigabecode für dieses Setup
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtN2ItaW5zdHJ1Y3QiLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTQwOTAtMjRnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiYmYxNiIsImNvbnRleHRUb2tlbnMiOjgxOTIsImNvbmN1cnJlbnRTZXF1ZW5jZXMiOjEsImVuZ2luZSI6InZsbG0iLCJrdlR5cGUiOiJmcDE2In19
So kommt die Zahl zustande
Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.
- Gewichte (Datei)
- 14,19 GiB (15.231.233.024 bytes)
- KV-Cache
- 0,44 GiB (469.762.048 bytes)
- Laufzeitpuffer
- 0,63 GiB–2,51 GiB
- Summe
- 15,25 GiB–17,14 GiB
- Nutzbarer Speicher
- 22,00 GiB
- Reserve für System / Anzeige
- 2,00 GiB
- Rest
- 4,86 GiB–6,75 GiB
obere Schätzung 17,14 GiB bei 22,00 GiB verfügbar
Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
- Der Kontext liegt im nativen Fenster von 32768 Tokens.
- Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
- Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
- Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
- Berücksichtigte Dateien: model-00001-of-00004.safetensors, model-00002-of-00004.safetensors, model-00003-of-00004.safetensors, model-00004-of-00004.safetensors.
- Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
- Die KV-Präzision hängt nicht von der Quantisierung der Gewichte ab, solange Sie sie nicht ändern.
Verwandte Seiten
Quellen
- Qwen2.5-7B-Instruct model card
- config.json — revision a09a35458c702b33eeacc393d103063234e8bc28
- safetensors index — metadata.total_size=15231233024
- Artifact repo Qwen/Qwen2.5-7B-Instruct-GGUF
- NVIDIA GeForce RTX 4090 product page — Standard Memory Config 24 GB GDDR6X
Rechner
Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.
Katalog-Snapshot wird geladen…
Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.