Qwen3-Next-80B-A3B-Instruct Q4_K_M: VRAM-Bedarf 47,29 GiB

VRAM-Bedarf 47,29 GiB. Qwen3-Next-80B-A3B-Instruct Q4_K_M bei 8.192 Tokens ist eine Schätzung von 45,96 GiB–47,29 GiB. Quelle Qwen/Qwen3-Next-80B-A3B-Instruct. Datei 48.410.988.384 Bytes. Keine Grafikkarte gewählt, daher nur Bedarf, keine Einpassung.

Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. GGUF Q4_K_M (Qwen): 45,96 GiB–47,29 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, llama.cpp.

Das Ergebnis ist eine Schätzung, keine Messung.Nicht geprüftDateigestützte Gewichte

Läuft auf

Läuft Qwen3-Next-80B-A3B-Instruct auf Apple M2 Max?

Herausgeber und Herkunft

AnbieterQwen
Hugging FaceQwen/Qwen3-Next-80B-A3B-Instruct
Revision9c7f2fbe84465e40164a94cc16cd30b6999b0cc7
Parameter gesamt81.324.862.720
Aktive Parameter3.000.000.000
Schichten48
Query-Köpfe16
KV-Köpfe2 (gqa)
Kopfdimension256
Dokumentierte Kontextfähigkeit262.144
Vollständigkeitcomplete · full

Dieses MoE nennt 81.324.862.720 Gesamt- und 3.000.000.000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz. Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.

Speicherschichten in dieser Schätzung

Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.

Weight artifact: 45,09 GiB (48.410.988.384 bytes)
Raw KV cache: 0,75 GiB (805.306.368 bytes)
Engine extras / workspace: 0,13 GiB–1,45 GiB
Total estimated demand: 45,96 GiB–47,29 GiB

Gewählte Dateien

Quantisierung	Gewählte Dateien	Bytes	Laufzeit	Beleg
BF16 safetensors bf16 Rechner: BF16 safetensors	41 Safetensors-Shards Ausgewählte Bytes gesamt: 162.649.725.440 (151,48 GiB / 162,65 GB) Erster Shard: model-00001-of-00041.safetensors Letzter Shard: model-00041-of-00041.safetensors Alle 41 Shard-Dateien anzeigen `model-00001-of-00041.safetensors` `model-00002-of-00041.safetensors` `model-00003-of-00041.safetensors` `model-00004-of-00041.safetensors` `model-00005-of-00041.safetensors` `model-00006-of-00041.safetensors` `model-00007-of-00041.safetensors` `model-00008-of-00041.safetensors` `model-00009-of-00041.safetensors` `model-00010-of-00041.safetensors` `model-00011-of-00041.safetensors` `model-00012-of-00041.safetensors` `model-00013-of-00041.safetensors` `model-00014-of-00041.safetensors` `model-00015-of-00041.safetensors` `model-00016-of-00041.safetensors` `model-00017-of-00041.safetensors` `model-00018-of-00041.safetensors` `model-00019-of-00041.safetensors` `model-00020-of-00041.safetensors` `model-00021-of-00041.safetensors` `model-00022-of-00041.safetensors` `model-00023-of-00041.safetensors` `model-00024-of-00041.safetensors` `model-00025-of-00041.safetensors` `model-00026-of-00041.safetensors` `model-00027-of-00041.safetensors` `model-00028-of-00041.safetensors` `model-00029-of-00041.safetensors` `model-00030-of-00041.safetensors` `model-00031-of-00041.safetensors` `model-00032-of-00041.safetensors` `model-00033-of-00041.safetensors` `model-00034-of-00041.safetensors` `model-00035-of-00041.safetensors` `model-00036-of-00041.safetensors` `model-00037-of-00041.safetensors` `model-00038-of-00041.safetensors` `model-00039-of-00041.safetensors` `model-00040-of-00041.safetensors` `model-00041-of-00041.safetensors`	162.649.725.440 (151,48 GiB / 162,65 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Qwen) gguf-q4_k_m Rechner: GGUF Q4_K_M (Qwen)	Qwen3-Next-80B-A3B-Instruct-Q4_K_M.gguf	48.410.988.384 (45,09 GiB / 48,41 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Qwen) gguf-q5_k_m Rechner: GGUF Q5_K_M (Qwen)	Qwen3-Next-80B-A3B-Instruct-Q5_K_M.gguf	56.710.369.120 (52,82 GiB / 56,71 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Qwen) gguf-q6_k Rechner: GGUF Q6_K (Qwen)	Qwen3-Next-80B-A3B-Instruct-Q6_K.gguf	65.528.461.152 (61,03 GiB / 65,53 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Qwen) gguf-q8_0 Rechner: GGUF Q8_0 (Qwen)	Qwen3-Next-80B-A3B-Instruct-Q8_0.gguf	84.812.052.320 (78,99 GiB / 84,81 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	Keine veröffentlichte Datei	40.662.431.360 (Theoretische Zeilen sind keine herunterladbaren Artefakte.)	—	theoretical

Speicher nach Quantisierung und Kontext

Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.

Quantisierung	2.048 tokens	8.192 tokens	32.768 tokens
BF16 safetensors	152,29 GiB–154,17 GiB	152,85 GiB–154,75 GiB	155,10 GiB–157,07 GiB
GGUF Q4_K_M (Qwen)	45,40 GiB–46,68 GiB	45,96 GiB–47,29 GiB	48,21 GiB–49,70 GiB
GGUF Q5_K_M (Qwen)	53,13 GiB–54,56 GiB	53,69 GiB–55,17 GiB	55,94 GiB–57,58 GiB
GGUF Q6_K (Qwen)	61,34 GiB–62,94 GiB	61,90 GiB–63,55 GiB	64,15 GiB–65,96 GiB
GGUF Q8_0 (Qwen)	79,30 GiB–81,26 GiB	79,86 GiB–81,87 GiB	82,11 GiB–84,28 GiB
INT4 theoretical Theoretische Zeilen sind keine herunterladbaren Artefakte.	38,18 GiB–49,57 GiB	38,74 GiB–50,27 GiB	40,99 GiB–53,04 GiB

KV-Cache (Rohdaten)

Rohes GQA/MHA-KV ist 2 × Schichten × kvHeads × headDim × Tokens × Sequenzen × Bytes je Element. Diese Seite nutzt KV-Heads (2), nicht Query-Heads (16).

8,192 tokens, 1 sequence, FP16: 805.306.368 bytes (0,7500 GiB)
32,768 tokens: 3.221.225.472 bytes (3,00 GiB)

Rechner mit diesem Modell öffnen

Quellen

Qwen3-Next-80B-A3B-Instruct model card
config.json — revision 9c7f2fbe84465e40164a94cc16cd30b6999b0cc7
safetensors index — metadata.total_size=162649725440
Artifact repo Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF

Annahmen, die das Ergebnis beeinflussen

Der Kontext liegt im dokumentierten nativen Fenster von 262144 Tokens.
Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
Dieses MoE nennt 81324862720 Gesamt- und 3000000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
Berücksichtigte Dateien: Qwen3-Next-80B-A3B-Instruct-Q4_K_M.gguf.
MTP-/Draft-Gewichte existieren und zählen nur wenn aktiviert.
Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).

Rechner

Katalog-Snapshot wird geladen…

Zuerst ein Modell wählen, danach das Gerät prüfen.

Modell

Historische Modelle anzeigen

Quantisierung

Gerätetyp

Hardware

Last

Die Kontextlänge betrifft vor allem den KV-Cache.

Erweiterte Einstellungen

Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

LaufzeitKV-Cache-TypRecurrent-/Conv-State-Datentyp Theoretische Schätzungen einbeziehen (Experte) Ersatz erlauben, wenn der Filter nichts trifft

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Szenario für Laufzeitoverhead Größeren Prefill-Arbeitsspeicher einbeziehen

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

VerteilungSplit in der ReplikaAnzahl Geräte

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

ReplikagruppenGeräte je Replika

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

Reserve für System / Anzeige

GiB (2^30 Byte)

Budget enthält die Systemreserve bereits nicht mehrZusätzliche Sicherheitsmarge

Effektive Bits je Parameter (eigene Angabe)Anzeigeeinheit

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Lokale config.json laden

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Öffentliches Hugging-Face-RepoRevision

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Parameter gesamtAktive ParameterSchichtenQuery-KöpfeKV-KöpfeKopfdimension

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.