Läuft Mixtral-8x7B-Instruct-v0.1 auf RTX 4090?

Nein Mixtral-8x7B-Instruct-v0.1 mit BF16 braucht 88,12 GiB–90,01 GiB bei 4.096 Tokens Kontext. Die RTX 4090 hat etwa 22 GiB nutzbar.

19 Dateien, zusammen 93,4 GB.

Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir

Was du ändern kannst

Andere Dateien auf dieser Karte

QuantisierungDateigrößeEngineSummePassung
BF16 safetensors Aktuelles Setup93,4 GBvllm88,1 GiB–90,0 GiBPasst nicht
GGUF Q8_0 (mradermacher)49,6 GBllama.cpp46,8 GiB–48,2 GiBPasst nicht
GGUF Q6_K (mradermacher)38,4 GBllama.cpp36,4 GiB–37,5 GiBPasst nicht
GGUF Q5_K_M (mradermacher)33,2 GBllama.cpp31,6 GiB–32,6 GiBPasst nicht
GGUF Q4_K_M (mradermacher)28,4 GBllama.cpp27,1 GiB–28,0 GiBPasst nicht

Gleicher Kontext (4.096 Tokens), ein Chat gleichzeitig, jede Datei mit ihrer üblichen Engine.

Verwendetes Setup

Technische Kennungen und Freigabedaten
  • Modellmixtral-8x7b-instruct-v0.1
  • Hardwarenvidia-geforce-rtx-4090-24gb-desktop
  • Quantisierungbf16
  • Freigabecode für dieses Setupv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6Im1peHRyYWwtOHg3Yi1pbnN0cnVjdC12MC4xIiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC00MDkwLTI0Z2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjo0MDk2LCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJ2bGxtIiwia3ZUeXBlIjoiZnAxNiJ9fQ
So kommt die Zahl zustande

Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.

Gewichte (Datei)
86,99 GiB (93.405.585.408 bytes)
KV-Cache
0,50 GiB (536.870.912 bytes)
Laufzeitpuffer
0,63 GiB–2,51 GiB
Summe
88,12 GiB–90,01 GiB
Nutzbarer Speicher
22,00 GiB
Reserve für System / Anzeige
2,00 GiB
Rest
-68,01 GiB–-66,12 GiB

obere Schätzung 90,01 GiB bei 22,00 GiB verfügbar

Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.

  • Der Kontext liegt im nativen Fenster von 32768 Tokens.
  • Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
  • Dieses MoE nennt 46702792704 Gesamt- und 12900000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
  • Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
  • Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
  • Gewichtbytes stammen aus 19 veröffentlichten Safetensors-Shards, zusammen 93405585408 Bytes.
  • Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
  • Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
Diese Kombination im Rechner öffnenKV-Cache

Verwandte Seiten

Quellen

Rechner

Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.

Katalog-Snapshot wird geladen…

Kontextlänge

Mehr Kontext braucht mehr Speicher für den KV-Cache, das Arbeitsgedächtnis des Modells für die Unterhaltung.

Weitere Optionen
Quantisierung
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.