Muse Spark Open: VRAM- und Speicherbedarf

Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. Official NVFP4 safetensors: 498,97 GiB–500,90 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, vllm.

Das Ergebnis ist eine Schätzung, keine Messung.Nicht geprüftDateigestützte Gewichte

Herausgeber und Herkunft

AnbieterMeta
Hugging Facemeta-models/Muse-Spark-Open-816B-A42B
Revision0fb02478b02565b2ce7fc57e6051c91172774ac9
Parameter gesamt822.036.529.664
Aktive Parameter42.000.000.000
Schichten62
Query-Köpfe128
KV-Köpfe16 (gqa)
Kopfdimension64
Dokumentierte Kontextfähigkeit1.048.576
Vollständigkeitpartial · partial

Dieses MoE nennt 822.036.529.664 Gesamt- und 42.000.000.000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz. Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.

Speicherschichten in dieser Schätzung

Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.

Weight artifact: 496,41 GiB (533.011.023.472 bytes)
Raw KV cache: 1,94 GiB (2.080.374.784 bytes)
Engine extras / workspace: 0,63 GiB–2,56 GiB
Total estimated demand: 498,97 GiB–500,90 GiB

Gewählte Dateien

Quantisierung	Gewählte Dateien	Bytes	Laufzeit	Beleg
Official BF16 safetensors bf16 Rechner: Official BF16 safetensors	65 Safetensors-Shards Ausgewählte Bytes gesamt: 1.644.333.393.864 (1.531,40 GiB / 1.644,33 GB) Erster Shard: model-00001-of-00065.safetensors Letzter Shard: model-00065-of-00065.safetensors Alle 65 Shard-Dateien anzeigen `model-00001-of-00065.safetensors` `model-00002-of-00065.safetensors` `model-00003-of-00065.safetensors` `model-00004-of-00065.safetensors` `model-00005-of-00065.safetensors` `model-00006-of-00065.safetensors` `model-00007-of-00065.safetensors` `model-00008-of-00065.safetensors` `model-00009-of-00065.safetensors` `model-00010-of-00065.safetensors` `model-00011-of-00065.safetensors` `model-00012-of-00065.safetensors` `model-00013-of-00065.safetensors` `model-00014-of-00065.safetensors` `model-00015-of-00065.safetensors` `model-00016-of-00065.safetensors` `model-00017-of-00065.safetensors` `model-00018-of-00065.safetensors` `model-00019-of-00065.safetensors` `model-00020-of-00065.safetensors` `model-00021-of-00065.safetensors` `model-00022-of-00065.safetensors` `model-00023-of-00065.safetensors` `model-00024-of-00065.safetensors` `model-00025-of-00065.safetensors` `model-00026-of-00065.safetensors` `model-00027-of-00065.safetensors` `model-00028-of-00065.safetensors` `model-00029-of-00065.safetensors` `model-00030-of-00065.safetensors` `model-00031-of-00065.safetensors` `model-00032-of-00065.safetensors` `model-00033-of-00065.safetensors` `model-00034-of-00065.safetensors` `model-00035-of-00065.safetensors` `model-00036-of-00065.safetensors` `model-00037-of-00065.safetensors` `model-00038-of-00065.safetensors` `model-00039-of-00065.safetensors` `model-00040-of-00065.safetensors` `model-00041-of-00065.safetensors` `model-00042-of-00065.safetensors` `model-00043-of-00065.safetensors` `model-00044-of-00065.safetensors` `model-00045-of-00065.safetensors` `model-00046-of-00065.safetensors` `model-00047-of-00065.safetensors` `model-00048-of-00065.safetensors` `model-00049-of-00065.safetensors` `model-00050-of-00065.safetensors` `model-00051-of-00065.safetensors` `model-00052-of-00065.safetensors` `model-00053-of-00065.safetensors` `model-00054-of-00065.safetensors` `model-00055-of-00065.safetensors` `model-00056-of-00065.safetensors` `model-00057-of-00065.safetensors` `model-00058-of-00065.safetensors` `model-00059-of-00065.safetensors` `model-00060-of-00065.safetensors` `model-00061-of-00065.safetensors` `model-00062-of-00065.safetensors` `model-00063-of-00065.safetensors` `model-00064-of-00065.safetensors` `model-00065-of-00065.safetensors`	1.644.333.393.864 (1.531,40 GiB / 1.644,33 GB)	`sglang, vllm, unspecified`	`file-metadata`
Official NVFP4 safetensors nvfp4 Rechner: Official NVFP4 safetensors	127 Safetensors-Shards Ausgewählte Bytes gesamt: 533.011.023.472 (496,41 GiB / 533,01 GB) Erster Shard: model-00001-of-00127.safetensors Letzter Shard: model-00127-of-00127.safetensors Alle 127 Shard-Dateien anzeigen `model-00001-of-00127.safetensors` `model-00002-of-00127.safetensors` `model-00003-of-00127.safetensors` `model-00004-of-00127.safetensors` `model-00005-of-00127.safetensors` `model-00006-of-00127.safetensors` `model-00007-of-00127.safetensors` `model-00008-of-00127.safetensors` `model-00009-of-00127.safetensors` `model-00010-of-00127.safetensors` `model-00011-of-00127.safetensors` `model-00012-of-00127.safetensors` `model-00013-of-00127.safetensors` `model-00014-of-00127.safetensors` `model-00015-of-00127.safetensors` `model-00016-of-00127.safetensors` `model-00017-of-00127.safetensors` `model-00018-of-00127.safetensors` `model-00019-of-00127.safetensors` `model-00020-of-00127.safetensors` `model-00021-of-00127.safetensors` `model-00022-of-00127.safetensors` `model-00023-of-00127.safetensors` `model-00024-of-00127.safetensors` `model-00025-of-00127.safetensors` `model-00026-of-00127.safetensors` `model-00027-of-00127.safetensors` `model-00028-of-00127.safetensors` `model-00029-of-00127.safetensors` `model-00030-of-00127.safetensors` `model-00031-of-00127.safetensors` `model-00032-of-00127.safetensors` `model-00033-of-00127.safetensors` `model-00034-of-00127.safetensors` `model-00035-of-00127.safetensors` `model-00036-of-00127.safetensors` `model-00037-of-00127.safetensors` `model-00038-of-00127.safetensors` `model-00039-of-00127.safetensors` `model-00040-of-00127.safetensors` `model-00041-of-00127.safetensors` `model-00042-of-00127.safetensors` `model-00043-of-00127.safetensors` `model-00044-of-00127.safetensors` `model-00045-of-00127.safetensors` `model-00046-of-00127.safetensors` `model-00047-of-00127.safetensors` `model-00048-of-00127.safetensors` `model-00049-of-00127.safetensors` `model-00050-of-00127.safetensors` `model-00051-of-00127.safetensors` `model-00052-of-00127.safetensors` `model-00053-of-00127.safetensors` `model-00054-of-00127.safetensors` `model-00055-of-00127.safetensors` `model-00056-of-00127.safetensors` `model-00057-of-00127.safetensors` `model-00058-of-00127.safetensors` `model-00059-of-00127.safetensors` `model-00060-of-00127.safetensors` `model-00061-of-00127.safetensors` `model-00062-of-00127.safetensors` `model-00063-of-00127.safetensors` `model-00064-of-00127.safetensors` `model-00065-of-00127.safetensors` `model-00066-of-00127.safetensors` `model-00067-of-00127.safetensors` `model-00068-of-00127.safetensors` `model-00069-of-00127.safetensors` `model-00070-of-00127.safetensors` `model-00071-of-00127.safetensors` `model-00072-of-00127.safetensors` `model-00073-of-00127.safetensors` `model-00074-of-00127.safetensors` `model-00075-of-00127.safetensors` `model-00076-of-00127.safetensors` `model-00077-of-00127.safetensors` `model-00078-of-00127.safetensors` `model-00079-of-00127.safetensors` `model-00080-of-00127.safetensors` `model-00081-of-00127.safetensors` `model-00082-of-00127.safetensors` `model-00083-of-00127.safetensors` `model-00084-of-00127.safetensors` `model-00085-of-00127.safetensors` `model-00086-of-00127.safetensors` `model-00087-of-00127.safetensors` `model-00088-of-00127.safetensors` `model-00089-of-00127.safetensors` `model-00090-of-00127.safetensors` `model-00091-of-00127.safetensors` `model-00092-of-00127.safetensors` `model-00093-of-00127.safetensors` `model-00094-of-00127.safetensors` `model-00095-of-00127.safetensors` `model-00096-of-00127.safetensors` `model-00097-of-00127.safetensors` `model-00098-of-00127.safetensors` `model-00099-of-00127.safetensors` `model-00100-of-00127.safetensors` `model-00101-of-00127.safetensors` `model-00102-of-00127.safetensors` `model-00103-of-00127.safetensors` `model-00104-of-00127.safetensors` `model-00105-of-00127.safetensors` `model-00106-of-00127.safetensors` `model-00107-of-00127.safetensors` `model-00108-of-00127.safetensors` `model-00109-of-00127.safetensors` `model-00110-of-00127.safetensors` `model-00111-of-00127.safetensors` `model-00112-of-00127.safetensors` `model-00113-of-00127.safetensors` `model-00114-of-00127.safetensors` `model-00115-of-00127.safetensors` `model-00116-of-00127.safetensors` `model-00117-of-00127.safetensors` `model-00118-of-00127.safetensors` `model-00119-of-00127.safetensors` `model-00120-of-00127.safetensors` `model-00121-of-00127.safetensors` `model-00122-of-00127.safetensors` `model-00123-of-00127.safetensors` `model-00124-of-00127.safetensors` `model-00125-of-00127.safetensors` `model-00126-of-00127.safetensors` `model-00127-of-00127.safetensors`	533.011.023.472 (496,41 GiB / 533,01 GB)	`sglang, vllm, unspecified`	`file-metadata`
INT4 theoretical	Keine veröffentlichte Datei	411.018.264.832 (Theoretische Zeilen sind keine herunterladbaren Artefakte.)	—	theoretical

Speicher nach Quantisierung und Kontext

Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.

Quantisierung	2.048 tokens	8.192 tokens	32.768 tokens
Official BF16 safetensors	1.532,51 GiB–1.534,40 GiB	1.533,97 GiB–1.535,90 GiB	1.539,78 GiB–1.541,89 GiB
Official NVFP4 safetensors	497,51 GiB–499,40 GiB	498,97 GiB–500,90 GiB	504,78 GiB–506,89 GiB
INT4 theoretical Theoretische Zeilen sind keine herunterladbaren Artefakte.	383,40 GiB–494,18 GiB	384,85 GiB–495,99 GiB	390,67 GiB–503,15 GiB

KV-Cache (Rohdaten)

Rohes GQA/MHA-KV ist 2 × Schichten × kvHeads × headDim × Tokens × Sequenzen × Bytes je Element. Diese Seite nutzt KV-Heads (16), nicht Query-Heads (128).

8,192 tokens, 1 sequence, FP16: 2.080.374.784 bytes (1,9375 GiB)
32,768 tokens: 8.321.499.136 bytes (7,7500 GiB)

Rechner mit diesem Modell öffnen

Quellen

Muse Spark Open model card — Gated (manual). Card: 816B total / 42B active, 1M context, MoE transformer with Perception Encoder, 62 layers, GQA 128 Q / 16 KV, head dim 64, hidden 8192, 256 experts top-8, vocab 202,048. Open weights require at least 700 GB VRAM for NVFP4 and 2 TB for BF16. Optimized for two Mac Studios with M5 Ultra using MLX.
Hugging Face API (BF16) — sha 0fb02478b02565b2ce7fc57e6051c91172774ac9; gated manual; safetensors.total=822036529664; 65 safetensors siblings sum 1644333393864 bytes. config.json HTTP 401.
Hugging Face API (NVFP4) — sha 4239e4db19376904f2e82c167e78f70abb5455fe; 127 safetensors siblings sum 533011023472 bytes.
Meta Get the model — BF16 about 1.65 TB, TP8/EP8 on 8 × B300. NVFP4 about 537 GB, TP4/EP4 on 4 × B300.
Meta research blog — 2026-10-15. Two Apple M5 Ultra Mac Studios; 512 GB unified memory per Studio; 1.2 TB/s bandwidth quoted by Meta.
PyTorch blog — Open weights 2026-10-15 under the Muse Model License. 816B total / 42B active, 1M context.

Annahmen, die das Ergebnis beeinflussen

Der Kontext liegt im dokumentierten nativen Fenster von 1048576 Tokens.
Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
Dieses MoE nennt 822036529664 Gesamt- und 42000000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
Gewichtbytes stammen aus 127 veröffentlichten Safetensors-Shards, zusammen 533011023472 Bytes.
Es gibt eine Vision-Komponente. Textinferenz zählt Encoder/Projector nicht.
Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).

Rechner

Katalog-Snapshot wird geladen…

Zuerst ein Modell wählen, danach das Gerät prüfen.

Modell

Historische Modelle anzeigen

Quantisierung

Gerätetyp

Hardware

Last

Die Kontextlänge betrifft vor allem den KV-Cache.

Erweiterte Einstellungen

Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

LaufzeitKV-Cache-TypRecurrent-/Conv-State-Datentyp Theoretische Schätzungen einbeziehen (Experte) Ersatz erlauben, wenn der Filter nichts trifft

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Szenario für Laufzeitoverhead Größeren Prefill-Arbeitsspeicher einbeziehen

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

VerteilungSplit in der ReplikaAnzahl Geräte

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

ReplikagruppenGeräte je Replika

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

Reserve für System / Anzeige

GiB (2^30 Byte)

Budget enthält die Systemreserve bereits nicht mehrZusätzliche Sicherheitsmarge

Effektive Bits je Parameter (eigene Angabe)Anzeigeeinheit

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Lokale config.json laden

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Öffentliches Hugging-Face-RepoRevision

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Parameter gesamtAktive ParameterSchichtenQuery-KöpfeKV-KöpfeKopfdimension

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Muse Spark Open: VRAM- und Speicherbedarf

Herausgeber und Herkunft

Speicherschichten in dieser Schätzung

Gewählte Dateien

Speicher nach Quantisierung und Kontext

KV-Cache (Rohdaten)

Verwandte Seiten

Quellen

Annahmen, die das Ergebnis beeinflussen

Rechner