Qwen3.8-27B auf RTX 5090: Läuft mit Luft, Grobe Schätzung

Bedingte Speicherbeurteilung für eine Konfiguration. Kontext, Quantisierung oder Engine können die Aussage ändern. Konfiguration auf dieser Seite: GGUF UD-Q4_K_M (Unsloth), 8.192 gecachte Tokens, 1 Sequenz, Engine llama.cpp. Status: Passt voraussichtlich. Software: Nicht geprüft..

Der allgemeine Rechner beurteilt den kanonischen Checkpoint. Für dieses Setup sind außerdem 1 von der Community geprüfte Deployments aufgeführt.

Passt voraussichtlichNicht geprüftDas Ergebnis ist eine Schätzung, keine Messung.1 bekannte Setups

Bekannte lauffähige Setups

1 bekannte Setups

Geprüfte Deployment-Rezepte für dieses Modell auf dieser Hardware.

Qwen3.8-27B
1× GeForce RTX 5090 32GB (desktop)
Vom Upstream-Maintainer gemessen
Präzision:NVFP4 safetensors(4 bpw)
Laufzeit:vLLM
Getestet:
  • ✓ Generierung
  • ✓ 262,144 Kontext
  • ✓ Werkzeugaufruf
  • ✓ spekulative Dekodierung
Gemessen:160 tok/s· 1 Datenstrom

Geprüftes Deployment. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗

Feste Seitenkonfiguration

Technische Kennungen und Freigabedaten
  • Modellqwen3.8-27b
  • Hardwarenvidia-geforce-rtx-5090-32gb-desktop
  • Quantisierunggguf-ud-q4_k_m
  • Freigabe-Fragment für diese Identitätv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLjgtMjdiIiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC01MDkwLTMyZ2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtdWQtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ

Speicheraufschlüsselung

Weight artifact
15,33 GiB (16.464.440.224 bytes)
Raw KV cache
0,50 GiB (536.870.912 bytes)
Engine extras / workspace
0,27 GiB–3,53 GiB
Total estimated demand
16,11 GiB–19,36 GiB
Net calculator budget
30,00 GiB
OS / display reserve
2,00 GiB
Remaining vs net budget
10,64 GiB–13,89 GiB

19,36 GiB obere Schätzung gegen 30,00 GiB netto

Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.

Weitere veröffentlichte Dateien auf diesem Gerät

Gleiches Modell, Gerät und gleicher Kontext (8.192 Tokens, 1 Sequenz, FP16-KV). Jede Zeile ist ein veröffentlichter Satz Gewichtsdateien mit seiner üblichen Engine, nach Speicher sortiert.

Alle 28 veröffentlichten Dateien anzeigen
QuantisierungLaufzeitGeschätzter SpeicherPassung
BF16 safetensorsvllm53,02 GiB–63,15 GiBPasst nicht · Grobe Schätzung
GGUF BF16 (Unsloth)llama.cpp51,68 GiB–61,08 GiBPasst nicht · Grobe Schätzung
GGUF UD-Q8_K_XL (Unsloth)llama.cpp30,07 GiB–35,74 GiBPasst nicht · Grobe Schätzung
GGUF Q8_0 (Unsloth)llama.cpp27,83 GiB–33,10 GiBKnapp · Grobe Schätzung
GGUF Q8_0 (mradermacher)llama.cpp27,83 GiB–33,10 GiBKnapp · Grobe Schätzung
GGUF UD-Q6_K_XL (Unsloth)llama.cpp24,33 GiB–29,01 GiBKnapp · Grobe Schätzung
GGUF Q6_K (mradermacher)llama.cpp21,66 GiB–25,88 GiBPasst · Grobe Schätzung
GGUF UD-Q5_K_M (Unsloth)llama.cpp19,19 GiB–22,97 GiBPasst · Grobe Schätzung
GGUF Q5_K_M (mradermacher)llama.cpp18,97 GiB–22,71 GiBPasst · Grobe Schätzung
GGUF Q5_K_S (mradermacher)llama.cpp18,44 GiB–22,10 GiBPasst · Grobe Schätzung
GGUF UD-Q4_K_XL (Unsloth)llama.cpp17,13 GiB–20,55 GiBLäuft mit Luft · Grobe Schätzung
GGUF Q4_1 (Unsloth)llama.cpp17,11 GiB–20,53 GiBLäuft mit Luft · Grobe Schätzung
GGUF Q4_K_M (mradermacher)llama.cpp16,43 GiB–19,74 GiBLäuft mit Luft · Grobe Schätzung
GGUF UD-Q4_K_M (Unsloth) Diese Seitellama.cpp16,11 GiB–19,36 GiBLäuft mit Luft · Grobe Schätzung
GGUF Q4_0 (Unsloth)llama.cpp15,73 GiB–18,91 GiBLäuft mit Luft · Grobe Schätzung
GGUF Q4_K_S (mradermacher)llama.cpp15,51 GiB–18,66 GiBLäuft mit Luft · Grobe Schätzung
GGUF IQ4_XS (mradermacher)llama.cpp15,13 GiB–18,22 GiBLäuft mit Luft · Grobe Schätzung
GGUF Q3_K_L (mradermacher)llama.cpp14,33 GiB–17,28 GiBLäuft mit Luft · Grobe Schätzung
GGUF UD-IQ4_XS (Unsloth)llama.cpp14,05 GiB–16,94 GiBLäuft mit Luft · Grobe Schätzung
GGUF Q3_K_M (mradermacher)llama.cpp13,35 GiB–16,12 GiBLäuft mit Luft · Grobe Schätzung
GGUF Q3_K_S (mradermacher)llama.cpp12,19 GiB–14,76 GiBLäuft mit Luft · Grobe Schätzung
GGUF UD-IQ3_S (Unsloth)llama.cpp11,99 GiB–14,53 GiBLäuft mit Luft · Grobe Schätzung
GGUF UD-IQ3_XXS (Unsloth)llama.cpp10,96 GiB–13,32 GiBLäuft mit Luft · Grobe Schätzung
GGUF Q2_K (mradermacher)llama.cpp10,89 GiB–13,24 GiBLäuft mit Luft · Grobe Schätzung
GGUF UD-IQ2_S (Unsloth)llama.cpp8,57 GiB–10,52 GiBLäuft mit Luft · Grobe Schätzung
GGUF UD-IQ2_XXS (Unsloth)llama.cpp7,54 GiB–9,31 GiBLäuft mit Luft · Grobe Schätzung
GGUF UD-IQ1_M (Unsloth)llama.cpp7,04 GiB–8,72 GiBLäuft mit Luft · Grobe Schätzung
GGUF UD-IQ1_S (Unsloth)llama.cpp6,54 GiB–8,14 GiBLäuft mit Luft · Grobe Schätzung

Annahmen, die das Ergebnis beeinflussen

Diese Kombination im Rechner öffnenKV-Cache

Verwandte Seiten

Quellen

Rechner

Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.

Katalog-Snapshot wird geladen…

Zuerst ein Modell wählen, danach das Gerät prüfen.

Quantisierung

Gerätetyp

Last

Die Kontextlänge betrifft vor allem den KV-Cache.

Erweiterte Einstellungen
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.