Qwen3.8-27B: VRAM-Bedarf 19,74 GiB

VRAM-Bedarf 16,43 GiB–19,74 GiB. Qwen3.8-27B Q4_K_M bei 8.192 Tokens. Keine Grafikkarte gewählt, daher nur Bedarf, keine Einpassung. Grobe Schätzung

Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. GGUF Q4_K_M (mradermacher): 16,43 GiB–19,74 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, llama.cpp.

Das Ergebnis ist eine Schätzung, keine Messung.Nicht geprüftDateigestützte Gewichte1 bekannte Setups

Bekannte lauffähige Setups

1 bekannte Setups

Von Community und Maintainern auf echter Hardware geprüfte Deployments mit belegtem Kontext, Quantisierung und Runtime.

Qwen3.8-27B
1× GeForce RTX 5090 32GB (desktop)
Vom Upstream-Maintainer gemessen
Präzision:NVFP4 safetensors(4 bpw)
Laufzeit:vLLM
Getestet:
  • ✓ Generierung
  • ✓ 262,144 Kontext
  • ✓ Werkzeugaufruf
  • ✓ spekulative Dekodierung
Gemessen:160 tok/s· 1 Datenstrom

Geprüftes Deployment. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗

Läuft auf

Herausgeber und Herkunft

Speicherschichten in dieser Schätzung

Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.

Weight artifact
15,66 GiB (16.810.714.848 bytes)
Raw KV cache
0,50 GiB (536.870.912 bytes)
Engine extras / workspace
0,27 GiB–3,58 GiB
Total estimated demand
16,43 GiB–19,74 GiB

Gewählte Dateien

QuantisierungGewählte DateienBytesLaufzeitBeleg
BF16 safetensors
bf16
18 Safetensors-Shards
Ausgewählte Bytes gesamt: 55.562.855.904 (51,75 GiB / 55,56 GB)
Erster Shard: model-00001-of-00018.safetensors
Letzter Shard: model-00018-of-00018.safetensors
Alle 18 Shard-Dateien anzeigen
  • model-00001-of-00018.safetensors
  • model-00002-of-00018.safetensors
  • model-00003-of-00018.safetensors
  • model-00004-of-00018.safetensors
  • model-00005-of-00018.safetensors
  • model-00006-of-00018.safetensors
  • model-00007-of-00018.safetensors
  • model-00008-of-00018.safetensors
  • model-00009-of-00018.safetensors
  • model-00010-of-00018.safetensors
  • model-00011-of-00018.safetensors
  • model-00012-of-00018.safetensors
  • model-00013-of-00018.safetensors
  • model-00014-of-00018.safetensors
  • model-00015-of-00018.safetensors
  • model-00016-of-00018.safetensors
  • model-00017-of-00018.safetensors
  • model-00018-of-00018.safetensors
55.562.855.904 (51,75 GiB / 55,56 GB)vllm, sglang, unspecifiedfile-metadata
GGUF UD-Q4_K_M (Unsloth)
gguf-ud-q4_k_m
Qwen3.8-27B-UD-Q4_K_M.gguf16.464.440.224 (15,33 GiB / 16,46 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Unsloth)
gguf-q8_0
Qwen3.8-27B-Q8_0.gguf29.047.086.048 (27,05 GiB / 29,05 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_0 (Unsloth)
gguf-q4_0
Qwen3.8-27B-Q4_0.gguf16.056.478.688 (14,95 GiB / 16,06 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q5_K_M (Unsloth)
gguf-ud-q5_k_m
Qwen3.8-27B-UD-Q5_K_M.gguf19.771.509.664 (18,41 GiB / 19,77 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q8_K_XL (Unsloth)
gguf-ud-q8_k_xl
Qwen3.8-27B-UD-Q8_K_XL.gguf31.457.991.680 (29,30 GiB / 31,46 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q6_K_XL (Unsloth)
gguf-ud-q6_k_xl
Qwen3.8-27B-UD-Q6_K_XL.gguf25.299.061.664 (23,56 GiB / 25,30 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q4_K_XL (Unsloth)
gguf-ud-q4_k_xl
Qwen3.8-27B-UD-Q4_K_XL.gguf17.559.178.144 (16,35 GiB / 17,56 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF BF16 (Unsloth)
gguf-bf16
BF16/Qwen3.8-27B-BF16-00001-of-00002.gguf, BF16/Qwen3.8-27B-BF16-00002-of-00002.gguf54.657.735.616 (50,90 GiB / 54,66 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_1 (Unsloth)
gguf-q4_1
Qwen3.8-27B-Q4_1.gguf17.540.705.248 (16,34 GiB / 17,54 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ1_M (Unsloth)
gguf-ud-iq1_m
Qwen3.8-27B-UD-IQ1_M.gguf6.729.166.848 (6,27 GiB / 6,73 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ1_S (Unsloth)
gguf-ud-iq1_s
Qwen3.8-27B-UD-IQ1_S.gguf6.192.222.208 (5,77 GiB / 6,19 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ2_S (Unsloth)
gguf-ud-iq2_s
Qwen3.8-27B-UD-IQ2_S.gguf8.371.970.048 (7,80 GiB / 8,37 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ2_XXS (Unsloth)
gguf-ud-iq2_xxs
Qwen3.8-27B-UD-IQ2_XXS.gguf7.266.070.528 (6,77 GiB / 7,27 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ3_S (Unsloth)
gguf-ud-iq3_s
Qwen3.8-27B-UD-IQ3_S.gguf12.040.883.104 (11,21 GiB / 12,04 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ3_XXS (Unsloth)
gguf-ud-iq3_xxs
Qwen3.8-27B-UD-IQ3_XXS.gguf10.934.860.704 (10,18 GiB / 10,93 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ4_XS (Unsloth)
gguf-ud-iq4_xs
Qwen3.8-27B-UD-IQ4_XS.gguf14.252.845.984 (13,27 GiB / 14,25 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_K_M (mradermacher)
gguf-q4_k_m
Qwen3.8-27B.Q4_K_M.gguf16.810.714.848 (15,66 GiB / 16,81 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (mradermacher)
gguf-q5_k_m
Qwen3.8-27B.Q5_K_M.gguf19.535.701.728 (18,19 GiB / 19,54 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (mradermacher)
gguf-q6_k
Qwen3.8-27B.Q6_K.gguf22.431.000.288 (20,89 GiB / 22,43 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (mradermacher)
gguf-q8_0-mradermacher
Qwen3.8-27B.Q8_0.gguf29.047.084.768 (27,05 GiB / 29,05 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF IQ4_XS (mradermacher)
gguf-iq4_xs
Qwen3.8-27B.IQ4_XS.gguf15.420.450.528 (14,36 GiB / 15,42 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_K_S (mradermacher)
gguf-q4_k_s
Qwen3.8-27B.Q4_K_S.gguf15.825.299.168 (14,74 GiB / 15,83 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_S (mradermacher)
gguf-q5_k_s
Qwen3.8-27B.Q5_K_S.gguf18.971.682.528 (17,67 GiB / 18,97 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_M (mradermacher)
gguf-q3_k_m
Qwen3.8-27B.Q3_K_M.gguf13.500.737.248 (12,57 GiB / 13,50 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q2_K (mradermacher)
gguf-q2_k
Qwen3.8-27B.Q2_K.gguf10.864.592.608 (10,12 GiB / 10,86 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_L (mradermacher)
gguf-q3_k_l
Qwen3.8-27B.Q3_K_L.gguf14.559.799.008 (13,56 GiB / 14,56 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_S (mradermacher)
gguf-q3_k_s
Qwen3.8-27B.Q3_K_S.gguf12.256.536.288 (11,41 GiB / 12,26 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalKeine veröffentlichte Datei13.890.713.976 (Theoretische Zeilen sind keine herunterladbaren Artefakte.)—theoretical

Speicher nach Quantisierung und Kontext

Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.

Quantisierung2.048 tokens8.192 tokens32.768 tokens
BF16 safetensors52,64 GiB–62,71 GiB53,02 GiB–63,15 GiB54,52 GiB–64,93 GiB
GGUF UD-Q4_K_M (Unsloth)15,73 GiB–18,88 GiB16,11 GiB–19,36 GiB17,61 GiB–21,20 GiB
GGUF Q8_0 (Unsloth)27,45 GiB–32,63 GiB27,83 GiB–33,10 GiB29,33 GiB–34,95 GiB
GGUF Q4_0 (Unsloth)15,35 GiB–18,44 GiB15,73 GiB–18,91 GiB17,23 GiB–20,76 GiB
GGUF UD-Q5_K_M (Unsloth)18,81 GiB–22,49 GiB19,19 GiB–22,97 GiB20,69 GiB–24,82 GiB
GGUF UD-Q8_K_XL (Unsloth)29,70 GiB–35,26 GiB30,07 GiB–35,74 GiB31,57 GiB–37,58 GiB
GGUF UD-Q6_K_XL (Unsloth)23,96 GiB–28,53 GiB24,33 GiB–29,01 GiB25,83 GiB–30,86 GiB
GGUF UD-Q4_K_XL (Unsloth)16,75 GiB–20,08 GiB17,13 GiB–20,55 GiB18,63 GiB–22,40 GiB
GGUF BF16 (Unsloth)51,30 GiB–60,61 GiB51,68 GiB–61,08 GiB53,18 GiB–62,93 GiB
GGUF Q4_1 (Unsloth)16,73 GiB–20,06 GiB17,11 GiB–20,53 GiB18,61 GiB–22,38 GiB
GGUF UD-IQ1_M (Unsloth)6,66 GiB–8,25 GiB7,04 GiB–8,72 GiB8,54 GiB–10,57 GiB
GGUF UD-IQ1_S (Unsloth)6,16 GiB–7,66 GiB6,54 GiB–8,14 GiB8,04 GiB–9,98 GiB
GGUF UD-IQ2_S (Unsloth)8,19 GiB–10,04 GiB8,57 GiB–10,52 GiB10,07 GiB–12,36 GiB
GGUF UD-IQ2_XXS (Unsloth)7,17 GiB–8,83 GiB7,54 GiB–9,31 GiB9,04 GiB–11,16 GiB
GGUF UD-IQ3_S (Unsloth)11,61 GiB–14,05 GiB11,99 GiB–14,53 GiB13,49 GiB–16,37 GiB
GGUF UD-IQ3_XXS (Unsloth)10,58 GiB–12,84 GiB10,96 GiB–13,32 GiB12,46 GiB–15,16 GiB
GGUF UD-IQ4_XS (Unsloth)13,67 GiB–16,47 GiB14,05 GiB–16,94 GiB15,55 GiB–18,79 GiB
GGUF Q4_K_M (mradermacher)16,05 GiB–19,26 GiB16,43 GiB–19,74 GiB17,93 GiB–21,58 GiB
GGUF Q5_K_M (mradermacher)18,59 GiB–22,24 GiB18,97 GiB–22,71 GiB20,47 GiB–24,56 GiB
GGUF Q6_K (mradermacher)21,29 GiB–25,40 GiB21,66 GiB–25,88 GiB23,16 GiB–27,72 GiB
GGUF Q8_0 (mradermacher)27,45 GiB–32,63 GiB27,83 GiB–33,10 GiB29,33 GiB–34,95 GiB
GGUF IQ4_XS (mradermacher)14,76 GiB–17,74 GiB15,13 GiB–18,22 GiB16,63 GiB–20,06 GiB
GGUF Q4_K_S (mradermacher)15,14 GiB–18,18 GiB15,51 GiB–18,66 GiB17,01 GiB–20,51 GiB
GGUF Q5_K_S (mradermacher)18,07 GiB–21,62 GiB18,44 GiB–22,10 GiB19,94 GiB–23,94 GiB
GGUF Q3_K_M (mradermacher)12,97 GiB–15,64 GiB13,35 GiB–16,12 GiB14,85 GiB–17,97 GiB
GGUF Q2_K (mradermacher)10,52 GiB–12,76 GiB10,89 GiB–13,24 GiB12,39 GiB–15,09 GiB
GGUF Q3_K_L (mradermacher)13,96 GiB–16,80 GiB14,33 GiB–17,28 GiB15,83 GiB–19,12 GiB
GGUF Q3_K_S (mradermacher)11,81 GiB–14,28 GiB12,19 GiB–14,76 GiB13,69 GiB–16,61 GiB
INT4 theoretical
Theoretische Zeilen sind keine herunterladbaren Artefakte.
13,33 GiB–17,56 GiB13,71 GiB–18,03 GiB15,21 GiB–19,88 GiB

KV-Cache (Rohdaten)

Rechner mit diesem Modell öffnen

Verwandte Seiten

Quellen

Annahmen, die das Ergebnis beeinflussen

Rechner

Katalog-Snapshot wird geladen…

Zuerst ein Modell wählen, danach das Gerät prüfen.

Quantisierung

Gerätetyp

Last

Die Kontextlänge betrifft vor allem den KV-Cache.

Erweiterte Einstellungen
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.