Läuft Phi-3.5-mini-instruct auf RTX 4060?

Nein Phi-3.5-mini-instruct mit BF16 braucht 10,74 GiB–12,71 GiB bei 8.192 Tokens Kontext. Die RTX 4060 hat etwa 7 GiB nutzbar.

2 Dateien, zusammen 7,6 GB.

Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir

Was du ändern kannst

Andere Dateien auf dieser Karte

QuantisierungDateigrößeEngineSummePassung
BF16 safetensors Aktuelles Setup7,6 GBvllm10,7 GiB–12,7 GiBPasst nicht
GGUF Q8_0 (bartowski)4,1 GBllama.cpp6,9 GiB–7,6 GiBKnapp
GGUF Q6_K (bartowski)3,1 GBllama.cpp6,0 GiB–6,7 GiBKnapp
GGUF Q5_K_M (bartowski)2,8 GBllama.cpp5,7 GiB–6,4 GiBKnapp
GGUF Q4_K_M (bartowski)2,4 GBllama.cpp5,4 GiB–6,0 GiBPasst

Gleicher Kontext (8.192 Tokens), ein Chat gleichzeitig, jede Datei mit ihrer üblichen Engine.

Verwendetes Setup

Technische Kennungen und Freigabedaten
  • Modellphi-3.5-mini-instruct
  • Hardwarenvidia-geforce-rtx-4060-8gb-desktop
  • Quantisierungbf16
  • Freigabecode für dieses Setupv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InBoaS0zLjUtbWluaS1pbnN0cnVjdCIsImhhcmR3YXJlSWQiOiJudmlkaWEtZ2Vmb3JjZS1ydHgtNDA2MC04Z2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJ2bGxtIiwia3ZUeXBlIjoiZnAxNiJ9fQ
So kommt die Zahl zustande

Summe = Gewichtsdatei + KV-Cache + Laufzeitpuffer. Die Spanne reicht von niedrigem bis hohem Laufzeit-Overhead der gezeigten Engine.

Gewichte (Datei)
7,12 GiB (7.642.159.104 bytes)
KV-Cache
3,00 GiB (3.221.225.472 bytes)
Laufzeitpuffer
0,63 GiB–2,59 GiB
Summe
10,74 GiB–12,71 GiB
Nutzbarer Speicher
7,00 GiB
Reserve für System / Anzeige
1,00 GiB
Rest
-5,71 GiB–-3,74 GiB

obere Schätzung 12,71 GiB bei 7,00 GiB verfügbar

Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.

  • Der Kontext liegt im nativen Fenster von 131072 Tokens.
  • Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
  • Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
  • Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
  • Berücksichtigte Dateien: model-00001-of-00002.safetensors, model-00002-of-00002.safetensors.
  • Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
  • Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
  • Die KV-Präzision hängt nicht von der Quantisierung der Gewichte ab, solange Sie sie nicht ändern.
Diese Kombination im Rechner öffnenKV-Cache

Verwandte Seiten

Quellen

Rechner

Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.

Katalog-Snapshot wird geladen…

Kontextlänge

Mehr Kontext braucht mehr Speicher für den KV-Cache, das Arbeitsgedächtnis des Modells für die Unterhaltung.

Weitere Optionen
Quantisierung
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Wähle ein Modell, um zu sehen, wie viel Speicher es braucht.