Läuft Qwen2.5-3B-Instruct auf RTX 4090?
Ja, mit Luft Qwen2.5-3B-Instruct mit Q4_K_M braucht 2,37 GiB–2,80 GiB bei 8.192 Tokens Kontext. Die RTX 4090 hat etwa 22 GiB nutzbar.
Datei: qwen2.5-3b-instruct-q4_k_m.gguf (2,1 GB).
Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir
Wie viel Luft bleibt
- Es passt auch mit dem vollen Kontextfenster des Modells von 32.768 Tokens.
- Auch eine größere Datei passt: BF16 safetensors braucht etwa 8,5 GiB (Läuft mit Luft).
Andere Dateien auf dieser Karte
| Quantisierung | Dateigröße | Engine | Summe | Passung |
|---|---|---|---|---|
| BF16 safetensors | 6,2 GB | vllm | 6,7 GiB–8,5 GiB | Läuft mit Luft |
| GGUF Q8_0 | 3,6 GB | llama.cpp | 3,8 GiB–4,2 GiB | Läuft mit Luft |
| GGUF Q6_K (Qwen) | 2,8 GB | llama.cpp | 3,0 GiB–3,5 GiB | Läuft mit Luft |
| GGUF Q5_K_M | 2,4 GB | llama.cpp | 2,7 GiB–3,1 GiB | Läuft mit Luft |
| GGUF Q4_K_M Aktuelles Setup | 2,1 GB | llama.cpp | 2,4 GiB–2,8 GiB | Läuft mit Luft |
Gleicher Kontext (8.192 Tokens), ein Chat gleichzeitig, jede Datei mit ihrer üblichen Engine.
Verwendetes Setup
- ModellQwen2.5-3B-Instruct
- HardwareGeForce RTX 4090 24GB (desktop)
- QuantisierungGGUF Q4_K_M
- Kontextlänge (zwischengespeicherte Tokens)8.192
- Laufzeit
llama.cpp - Gleichzeitige Sequenzen1
- KV-Cache-Typfp16
Technische Kennungen und Freigabedaten
- Modell
qwen2.5-3b-instruct - Hardware
nvidia-geforce-rtx-4090-24gb-desktop - Quantisierung
gguf-q4_k_m - Freigabecode für dieses Setup
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtM2ItaW5zdHJ1Y3QiLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTQwOTAtMjRnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZ2d1Zi1xNF9rX20iLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJsbGFtYS5jcHAiLCJrdlR5cGUiOiJmcDE2In19
So kommt die Zahl zustande
Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.
- Gewichte (Datei)
- 1,96 GiB (2.104.932.768 bytes)
- KV-Cache
- 0,28 GiB (301.989.888 bytes)
- Laufzeitpuffer
- 0,13 GiB–0,56 GiB
- Summe
- 2,37 GiB–2,80 GiB
- Nutzbarer Speicher
- 22,00 GiB
- Reserve für System / Anzeige
- 2,00 GiB
- Rest
- 19,20 GiB–19,63 GiB
obere Schätzung 2,80 GiB bei 22,00 GiB verfügbar
Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
- Der Kontext liegt im nativen Fenster von 32768 Tokens.
- Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
- Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
- Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
- Berücksichtigte Dateien: qwen2.5-3b-instruct-q4_k_m.gguf.
- Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
- Die KV-Präzision hängt nicht von der Quantisierung der Gewichte ab, solange Sie sie nicht ändern.
Verwandte Seiten
Quellen
- Qwen2.5-3B-Instruct model card
- config.json — revision aa8e72537993ba99e69dfaafa59ed015b17504d1
- safetensors index — metadata.total_size=6171877376
- Artifact repo Qwen/Qwen2.5-3B-Instruct-GGUF
- NVIDIA GeForce RTX 4090 product page — Standard Memory Config 24 GB GDDR6X
Rechner
Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.
Katalog-Snapshot wird geladen…
Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.