Läuft Qwen3-30B-A3B auf RTX 4090?

Ja Qwen3-30B-A3B mit Q4_K_M braucht 18,16 GiB–18,93 GiB bei 8.192 Tokens Kontext. Die RTX 4090 hat etwa 22 GiB nutzbar.

Datei: Qwen3-30B-A3B-Q4_K_M.gguf (18,6 GB).

Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir

Wie viel Luft bleibt

Andere Dateien auf dieser Karte

QuantisierungDateigrößeEngineSummePassung
BF16 safetensors61,1 GBvllm58,2 GiB–60,1 GiBPasst nicht
GGUF Q8_032,5 GBllama.cpp31,1 GiB–32,2 GiBPasst nicht
GGUF Q6_K (Qwen)25,1 GBllama.cpp24,2 GiB–25,1 GiBPasst nicht
GGUF Q5_K_M (Qwen)21,7 GBllama.cpp21,1 GiB–21,9 GiBKnapp
GGUF Q4_K_M Aktuelles Setup18,6 GBllama.cpp18,2 GiB–18,9 GiBPasst

Gleicher Kontext (8.192 Tokens), ein Chat gleichzeitig, jede Datei mit ihrer üblichen Engine.

Verwendetes Setup

Technische Kennungen und Freigabedaten
  • Modellqwen3-30b-a3b
  • Hardwarenvidia-geforce-rtx-4090-24gb-desktop
  • Quantisierunggguf-q4_k_m
  • Freigabecode für dieses Setupv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLTMwYi1hM2IiLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTQwOTAtMjRnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZ2d1Zi1xNF9rX20iLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJsbGFtYS5jcHAiLCJrdlR5cGUiOiJmcDE2In19
So kommt die Zahl zustande

Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.

Gewichte (Datei)
17,28 GiB (18.556.685.824 bytes)
KV-Cache
0,75 GiB (805.306.368 bytes)
Laufzeitpuffer
0,13 GiB–0,90 GiB
Summe
18,16 GiB–18,93 GiB
Nutzbarer Speicher
22,00 GiB
Reserve für System / Anzeige
2,00 GiB
Rest
3,07 GiB–3,84 GiB

obere Schätzung 18,93 GiB bei 22,00 GiB verfügbar

Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.

  • Der Kontext liegt im nativen Fenster von 40960 Tokens.
  • Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
  • Dieses MoE nennt 30532122624 Gesamt- und 3300000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
  • Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
  • Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
  • Berücksichtigte Dateien: Qwen3-30B-A3B-Q4_K_M.gguf.
  • Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
  • Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
Diese Kombination im Rechner öffnenKV-Cache

Verwandte Seiten

Quellen

Rechner

Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.

Katalog-Snapshot wird geladen…

Kontextlänge

Mehr Kontext braucht mehr Speicher für den KV-Cache, das Arbeitsgedächtnis des Modells für die Unterhaltung.

Weitere Optionen
Quantisierung
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.