Qwen3.8-Flash-Next auf DGX Spark (GB10): Knapp, Grobe Schätzung
Bedingte Speicherbeurteilung für eine Konfiguration. Kontext, Quantisierung oder Engine können die Aussage ändern. Konfiguration auf dieser Seite: GGUF Q4_K_M (bartowski), 8.192 gecachte Tokens, 1 Sequenz, Engine llama.cpp. Status: Knapp. Software: Nicht geprüft..
KnappNicht geprüftDas Ergebnis ist eine Schätzung, keine Messung.
Feste Seitenkonfiguration
- ModellQwen3.8-Flash-Next
- HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
- QuantisierungGGUF Q4_K_M (bartowski)
- Kontextlänge (zwischengespeicherte Tokens)8.192
- Laufzeit
llama.cpp - Gleichzeitige Sequenzen1
- KV-Cache-Typfp16
Technische Kennungen und Freigabedaten
- Modell
qwen3.8-flash-next - Hardware
nvidia-dgx-spark-128gb-unified - Quantisierung
gguf-q4_k_m - Freigabe-Fragment für diese Identität
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLjgtZmxhc2gtbmV4dCIsImhhcmR3YXJlSWQiOiJudmlkaWEtZGd4LXNwYXJrLTEyOGdiLXVuaWZpZWQiLCJkZXZpY2VDb3VudCI6MSwicXVhbnRpemF0aW9uSWQiOiJnZ3VmLXE0X2tfbSIsImNvbnRleHRUb2tlbnMiOjgxOTIsImNvbmN1cnJlbnRTZXF1ZW5jZXMiOjEsImVuZ2luZSI6ImxsYW1hLmNwcCIsImt2VHlwZSI6ImZwMTYifX0
Speicheraufschlüsselung
- Weight artifact
- 111,39 GiB (119.599.030.080 bytes)
- Raw KV cache
- 0,19 GiB (201.326.592 bytes)
- Engine extras / workspace
- 0,18 GiB–19,95 GiB
- Total estimated demand
- 111,75 GiB–131,53 GiB
- Net calculator budget
- 112,00 GiB
- OS / display reserve
- 16,00 GiB
- Remaining vs net budget
- -19,53 GiB–0,25 GiB
131,53 GiB obere Schätzung gegen 112,00 GiB netto
Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
Weitere veröffentlichte Dateien auf diesem Gerät
Gleiches Modell, Gerät und gleicher Kontext (8.192 Tokens, 1 Sequenz, FP16-KV). Jede Zeile ist ein veröffentlichter Satz Gewichtsdateien mit seiner üblichen Engine, nach Speicher sortiert.
| Quantisierung | Laufzeit | Geschätzter Speicher | Passung |
|---|---|---|---|
| BF16 safetensors | vllm | 336,14 GiB–388,73 GiB | Passt nicht · Grobe Schätzung |
| GGUF Q8_0 (Unsloth) | llama.cpp | 175,66 GiB–206,50 GiB | Passt nicht · Grobe Schätzung |
| GGUF Q6_K (bartowski) | llama.cpp | 156,93 GiB–184,53 GiB | Passt nicht · Grobe Schätzung |
| GGUF Q5_K_M (bartowski) | llama.cpp | 125,79 GiB–147,99 GiB | Passt nicht · Grobe Schätzung |
| GGUF Q4_K_M (bartowski) Diese Seite | llama.cpp | 111,75 GiB–131,53 GiB | Knapp · Grobe Schätzung |
Annahmen, die das Ergebnis beeinflussen
- Der Kontext liegt im dokumentierten nativen Fenster von 262144 Tokens.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Die Zahl aktiver Parameter ist unbekannt oder nicht unabhängig belegt. Aktive Parameter beschreiben geroutete Rechenlast, nicht den vollständigen residenten Gewichtsumfang.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Berücksichtigte Dateien: Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00001-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00002-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00003-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00004-of-00004.gguf.
- Es gibt eine Vision-Komponente. Textinferenz zählt Encoder/Projector nicht.
- MTP-/Draft-Gewichte existieren und zählen nur wenn aktiviert.
Verwandte Seiten
Quellen
- Qwen3.8-Flash-Next model card — Hybrides Layout. Expert-Offload ist nicht angegeben, und aktive Parameter sind nicht die residenten Gewichte. Die Dateigröße ist der gepackte Checkpoint.
- config.json — revision de4b8e4d43b917e7706784d8bb445c9af86a3540
- safetensors index — metadata.total_size=359999963128
- Artifact repo unsloth/Qwen3.8-Flash-Next-GGUF
- Artifact repo bartowski/Qwen3.8-Flash-Next-GGUF
- NVIDIA DGX Spark product page — 128 GB kohärenter Unified System Memory. Das ist kein dedizierter VRAM. Die Standardreserve deckt das Betriebssystem und andere Prozesse ab. Mehrere Sparks sind kein gemeinsamer Pool.
- NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.
Rechner
Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.
Katalog-Snapshot wird geladen…
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.