Qwen3.8-Flash-Next: VRAM-Bedarf 131,53 GiB
VRAM-Bedarf 111,75 GiB–131,53 GiB. Qwen3.8-Flash-Next Q4_K_M bei 8.192 Tokens. Keine Grafikkarte gewählt, daher nur Bedarf, keine Einpassung. Grobe Schätzung BF16-Datei: 359.999.963.128 Bytes.
Der Checkpoint Qwen/Qwen3.8-Flash-Next liefert in diesem Katalog BF16-Safetensors mit 359.999.963.128 Bytes (335,28 GiB / 360,00 GB). Diese Downloadgröße ist nicht der VRAM-Spitzenwert, und die Zahlen unten sind Schätzungen.
Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. GGUF Q4_K_M (bartowski): 111,75 GiB–131,53 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, llama.cpp.
Läuft auf
Herausgeber und Herkunft
- AnbieterQwen
- Hugging Face
Qwen/Qwen3.8-Flash-Next - Revision
de4b8e4d43b917e7706784d8bb445c9af86a3540 - Parameter gesamt179.999.981.459
- Aktive ParameterUnbekannt / nicht unabhängig belegt
- Schichten48
- Query-Köpfe24
- KV-Köpfe2 (hybrid)
- Kopfdimension256
- Dokumentierte Kontextfähigkeit262.144
- Vollständigkeitpartial · partial
Die Zahl aktiver Parameter ist unbekannt oder nicht unabhängig belegt. Aktive Parameter beschreiben geroutete Rechenlast, nicht den vollständigen residenten Gewichtsumfang.
Speicherschichten in dieser Schätzung
Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.
- Weight artifact
- 111,39 GiB (119.599.030.080 bytes)
- Raw KV cache
- 0,19 GiB (201.326.592 bytes)
- Engine extras / workspace
- 0,18 GiB–19,95 GiB
- Total estimated demand
- 111,75 GiB–131,53 GiB
Gewählte Dateien
| Quantisierung | Gewählte Dateien | Bytes | Laufzeit | Beleg |
|---|---|---|---|---|
| BF16 safetensors bf16 | 359.999.963.128 (335,28 GiB / 360,00 GB) | vllm, sglang, unspecified | file-metadata | |
| GGUF Q8_0 (Unsloth) gguf-q8_0 | 188.225.033.248 (175,30 GiB / 188,23 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q4_K_M (bartowski) gguf-q4_k_m | Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00001-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00002-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00003-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00004-of-00004.gguf | 119.599.030.080 (111,39 GiB / 119,60 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q5_K_M (bartowski) gguf-q5_k_m | Qwen3.8-Flash-Next-Q5_K_M/Qwen3.8-Flash-Next-Q5_K_M-00001-of-00004.gguf, Qwen3.8-Flash-Next-Q5_K_M/Qwen3.8-Flash-Next-Q5_K_M-00002-of-00004.gguf, Qwen3.8-Flash-Next-Q5_K_M/Qwen3.8-Flash-Next-Q5_K_M-00003-of-00004.gguf, Qwen3.8-Flash-Next-Q5_K_M/Qwen3.8-Flash-Next-Q5_K_M-00004-of-00004.gguf | 134.668.639.040 (125,42 GiB / 134,67 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q6_K (bartowski) gguf-q6_k | 168.113.805.248 (156,57 GiB / 168,11 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| INT4 theoretical | Keine veröffentlichte Datei | 89.999.990.730 (Theoretische Zeilen sind keine herunterladbaren Artefakte.) | — | theoretical |
Speicher nach Quantisierung und Kontext
Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.
| Quantisierung | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| BF16 safetensors | 336,00 GiB–388,56 GiB | 336,14 GiB–388,73 GiB | 336,70 GiB–389,39 GiB |
| GGUF Q8_0 (Unsloth) | 175,52 GiB–206,32 GiB | 175,66 GiB–206,50 GiB | 176,23 GiB–207,19 GiB |
| GGUF Q4_K_M (bartowski) | 111,61 GiB–131,35 GiB | 111,75 GiB–131,53 GiB | 112,31 GiB–132,22 GiB |
| GGUF Q5_K_M (bartowski) | 125,64 GiB–147,81 GiB | 125,79 GiB–147,99 GiB | 126,35 GiB–148,68 GiB |
| GGUF Q6_K (bartowski) | 156,79 GiB–184,35 GiB | 156,93 GiB–184,53 GiB | 157,50 GiB–185,22 GiB |
| INT4 theoretical Theoretische Zeilen sind keine herunterladbaren Artefakte. | 84,04 GiB–108,65 GiB | 84,18 GiB–108,83 GiB | 84,75 GiB–109,52 GiB |
KV-Cache (Rohdaten)
Verwandte Seiten
Quellen
- Qwen3.8-Flash-Next model card — Hybrides Layout. Expert-Offload ist nicht angegeben, und aktive Parameter sind nicht die residenten Gewichte. Die Dateigröße ist der gepackte Checkpoint.
- config.json — revision de4b8e4d43b917e7706784d8bb445c9af86a3540
- safetensors index — metadata.total_size=359999963128
- Artifact repo unsloth/Qwen3.8-Flash-Next-GGUF
- Artifact repo bartowski/Qwen3.8-Flash-Next-GGUF
Annahmen, die das Ergebnis beeinflussen
- Der Kontext liegt im dokumentierten nativen Fenster von 262144 Tokens.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Die Zahl aktiver Parameter ist unbekannt oder nicht unabhängig belegt. Aktive Parameter beschreiben geroutete Rechenlast, nicht den vollständigen residenten Gewichtsumfang.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Berücksichtigte Dateien: Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00001-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00002-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00003-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00004-of-00004.gguf.
- Es gibt eine Vision-Komponente. Textinferenz zählt Encoder/Projector nicht.
- MTP-/Draft-Gewichte existieren und zählen nur wenn aktiviert.
Rechner
Katalog-Snapshot wird geladen…
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.