Qwen3-VL-8B-Instruct auf RTX 5090: Läuft mit Luft
Bedingte Speicherbeurteilung für eine Konfiguration. Kontext, Quantisierung oder Engine können die Aussage ändern. Konfiguration auf dieser Seite: BF16 safetensors, 8.192 gecachte Tokens, 1 Sequenz, Engine vllm. Status: Passt voraussichtlich. Software: Nicht geprüft..
Feste Seitenkonfiguration
- ModellQwen3-VL-8B-Instruct
- HardwareGeForce RTX 5090 32GB (desktop)
- QuantisierungBF16 safetensors
- Kontextlänge (zwischengespeicherte Tokens)8.192
- Laufzeit
vllm - Gleichzeitige Sequenzen1
- KV-Cache-Typfp16
Technische Kennungen und Freigabedaten
- Modell
qwen3-vl-8b-instruct - Hardware
nvidia-geforce-rtx-5090-32gb-desktop - Quantisierung
bf16 - Freigabe-Fragment für diese Identität
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLXZsLThiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC01MDkwLTMyZ2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJ2bGxtIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Speicheraufschlüsselung
- Weight artifact
- 16,33 GiB (17.534.247.392 bytes)
- Raw KV cache
- 1,13 GiB (1.207.959.552 bytes)
- Engine extras / workspace
- 0,63 GiB–2,53 GiB
- Total estimated demand
- 18,08 GiB–19,99 GiB
- Net calculator budget
- 30,00 GiB
- OS / display reserve
- 2,00 GiB
- Remaining vs net budget
- 10,01 GiB–11,92 GiB
19,99 GiB obere Schätzung gegen 30,00 GiB netto
Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
Weitere veröffentlichte Dateien auf diesem Gerät
Gleiches Modell, Gerät und gleicher Kontext (8.192 Tokens, 1 Sequenz, FP16-KV). Jede Zeile ist ein veröffentlichter Satz Gewichtsdateien mit seiner üblichen Engine, nach Speicher sortiert.
| Quantisierung | Laufzeit | Geschätzter Speicher | Passung |
|---|---|---|---|
| BF16 safetensors Diese Seite | vllm | 18,08 GiB–19,99 GiB | Läuft mit Luft |
| GGUF Q8_0 (Qwen) | llama.cpp | 9,36 GiB–9,98 GiB | Läuft mit Luft |
| GGUF Q6_K (Unsloth) | llama.cpp | 7,51 GiB–8,09 GiB | Läuft mit Luft |
| GGUF Q5_K_M (Unsloth) | llama.cpp | 6,70 GiB–7,26 GiB | Läuft mit Luft |
| GGUF Q4_K_M (Qwen) | llama.cpp | 5,93 GiB–6,48 GiB | Läuft mit Luft |
Annahmen, die das Ergebnis beeinflussen
- Der Kontext liegt im dokumentierten nativen Fenster von 262144 Tokens.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Berücksichtigte Dateien: model-00001-of-00004.safetensors, model-00002-of-00004.safetensors, model-00003-of-00004.safetensors, model-00004-of-00004.safetensors.
- Es gibt eine Vision-Komponente. Textinferenz zählt Encoder/Projector nicht.
- Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
Verwandte Seiten
Quellen
- Qwen3-VL-8B-Instruct model card
- config.json — revision 0c351dd01ed87e9c1b53cbc748cba10e6187ff3b
- safetensors index — metadata.total_size=17534247392
- Artifact repo Qwen/Qwen3-VL-8B-Instruct-GGUF
- Artifact repo unsloth/Qwen3-VL-8B-Instruct-GGUF
- NVIDIA GeForce RTX 5090 product page — Standard Memory Config 32 GB GDDR7
Rechner
Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.
Katalog-Snapshot wird geladen…
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.