Läuft Qwen3-30B-A3B auf GeForce RTX 4090 24GB (desktop)?
Bedingte Speicherbeurteilung für eine Konfiguration. Kontext, Quantisierung oder Engine können die Aussage ändern.
MoE full-resident weights vs 24GB, not active-parameter compute.
Konfiguration auf dieser Seite: gguf-q4_k_m, 8.192 gecachte Tokens, 1 Sequenz, Engine llama.cpp.
Status: Passt voraussichtlich. Software: Dokumentiert unterstützt.
Gewichte 17,28 GiB · rohes KV 0,75 GiB · gesamt 18,16 GiB–18,93 GiB.
Verfügbares Budget 22,00 GiB nach der Standardreserve.
Diese Seite ist eine Schätzung, solange keine passende Laufzeitmessung vorliegt.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Dieses MoE nennt 30500000000 Gesamt- und 3300000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Berücksichtigte Dateien: Qwen3-30B-A3B-Q4_K_M.gguf.
- Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
- Der KV-Datentyp ist unabhängig von der Gewichtquantisierung, außer Sie ändern ihn.
Schätzung
Passt voraussichtlich
Unter den aktuellen Annahmen liegt die obere Schätzung unter 90 % des Budgets.
Geschätzter Speicherbereich: 18,16 GiB – 18,93 GiB
Die Gewichte stammen aus den gewählten Dateimetadaten. Laufzeitanteile bleiben geschätzt.
Verfügbares Budget: 22,00 GiB · Rest nach der Schätzung: 3,07 GiB – 3,84 GiB
Softwareunterstützung
Dokumentiert unterstützt. Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
Annahmen, die das Ergebnis beeinflussen
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Dieses MoE nennt 30500000000 Gesamt- und 3300000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Berücksichtigte Dateien: Qwen3-30B-A3B-Q4_K_M.gguf.
- Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
- Der KV-Datentyp ist unabhängig von der Gewichtquantisierung, außer Sie ändern ihn.
- Es werden 4 KV-Köpfe verwendet, nicht 32 Query-Köpfe.
- Prefill-Spitze und stabiles Decoding sind nicht gleich. Das hohe Szenario liegt näher am Prefill.
- Die Engine-Reserve ist nicht der tatsächliche Verbrauch von Gewichten und KV.
- llama.cpp-Puffer wachsen mit Kontext und Batch. Das sind anpassbare Szenarien, keine Messungen — außer eine passende Kalibrierung liegt vor.
- Host-RAM fließt nicht automatisch in dedizierten GPU-Speicher.