GLM-5.3: VRAM- und Speicherbedarf

Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. GGUF Q8_0 (Unsloth): 747,13 GiB–876,98 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, llama.cpp.

Das Ergebnis ist eine Schätzung, keine Messung.Nicht geprüftDateigestützte Gewichte

Herausgeber und Herkunft

AnbieterZhipu AI
Hugging Facezai-org/GLM-5.3
Revisionaca966e4e02791568aa6a4ced368624b3d897f42
Parameter gesamt753.329.940.480
Aktive ParameterUnbekannt / nicht unabhängig belegt
Schichten78
Query-Köpfe64
KV-Köpfe64 (mla)
Kopfdimension192
Dokumentierte Kontextfähigkeit1.048.576
Vollständigkeitpartial · partial

Die Zahl aktiver Parameter ist unbekannt oder nicht unabhängig belegt. Aktive Parameter beschreiben geroutete Rechenlast, nicht den vollständigen residenten Gewichtsumfang.

Speicherschichten in dieser Schätzung

Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.

Weight artifact: 746,32 GiB (801.357.677.216 bytes)
Raw KV cache: 0,69 GiB (736.100.352 bytes)
Engine extras / workspace: 0,13 GiB–129,97 GiB
Total estimated demand: 747,13 GiB–876,98 GiB

Gewählte Dateien

Quantisierung	Gewählte Dateien	Bytes	Laufzeit	Beleg
FP8 safetensors fp8 Rechner: FP8 safetensors	141 Safetensors-Shards Ausgewählte Bytes gesamt: 755.617.140.416 (703,72 GiB / 755,62 GB) Erster Shard: model-00001-of-00141.safetensors Letzter Shard: model-00141-of-00141.safetensors Alle 141 Shard-Dateien anzeigen `model-00001-of-00141.safetensors` `model-00002-of-00141.safetensors` `model-00003-of-00141.safetensors` `model-00004-of-00141.safetensors` `model-00005-of-00141.safetensors` `model-00006-of-00141.safetensors` `model-00007-of-00141.safetensors` `model-00008-of-00141.safetensors` `model-00009-of-00141.safetensors` `model-00010-of-00141.safetensors` `model-00011-of-00141.safetensors` `model-00012-of-00141.safetensors` `model-00013-of-00141.safetensors` `model-00014-of-00141.safetensors` `model-00015-of-00141.safetensors` `model-00016-of-00141.safetensors` `model-00017-of-00141.safetensors` `model-00018-of-00141.safetensors` `model-00019-of-00141.safetensors` `model-00020-of-00141.safetensors` `model-00021-of-00141.safetensors` `model-00022-of-00141.safetensors` `model-00023-of-00141.safetensors` `model-00024-of-00141.safetensors` `model-00025-of-00141.safetensors` `model-00026-of-00141.safetensors` `model-00027-of-00141.safetensors` `model-00028-of-00141.safetensors` `model-00029-of-00141.safetensors` `model-00030-of-00141.safetensors` `model-00031-of-00141.safetensors` `model-00032-of-00141.safetensors` `model-00033-of-00141.safetensors` `model-00034-of-00141.safetensors` `model-00035-of-00141.safetensors` `model-00036-of-00141.safetensors` `model-00037-of-00141.safetensors` `model-00038-of-00141.safetensors` `model-00039-of-00141.safetensors` `model-00040-of-00141.safetensors` `model-00041-of-00141.safetensors` `model-00042-of-00141.safetensors` `model-00043-of-00141.safetensors` `model-00044-of-00141.safetensors` `model-00045-of-00141.safetensors` `model-00046-of-00141.safetensors` `model-00047-of-00141.safetensors` `model-00048-of-00141.safetensors` `model-00049-of-00141.safetensors` `model-00050-of-00141.safetensors` `model-00051-of-00141.safetensors` `model-00052-of-00141.safetensors` `model-00053-of-00141.safetensors` `model-00054-of-00141.safetensors` `model-00055-of-00141.safetensors` `model-00056-of-00141.safetensors` `model-00057-of-00141.safetensors` `model-00058-of-00141.safetensors` `model-00059-of-00141.safetensors` `model-00060-of-00141.safetensors` `model-00061-of-00141.safetensors` `model-00062-of-00141.safetensors` `model-00063-of-00141.safetensors` `model-00064-of-00141.safetensors` `model-00065-of-00141.safetensors` `model-00066-of-00141.safetensors` `model-00067-of-00141.safetensors` `model-00068-of-00141.safetensors` `model-00069-of-00141.safetensors` `model-00070-of-00141.safetensors` `model-00071-of-00141.safetensors` `model-00072-of-00141.safetensors` `model-00073-of-00141.safetensors` `model-00074-of-00141.safetensors` `model-00075-of-00141.safetensors` `model-00076-of-00141.safetensors` `model-00077-of-00141.safetensors` `model-00078-of-00141.safetensors` `model-00079-of-00141.safetensors` `model-00080-of-00141.safetensors` `model-00081-of-00141.safetensors` `model-00082-of-00141.safetensors` `model-00083-of-00141.safetensors` `model-00084-of-00141.safetensors` `model-00085-of-00141.safetensors` `model-00086-of-00141.safetensors` `model-00087-of-00141.safetensors` `model-00088-of-00141.safetensors` `model-00089-of-00141.safetensors` `model-00090-of-00141.safetensors` `model-00091-of-00141.safetensors` `model-00092-of-00141.safetensors` `model-00093-of-00141.safetensors` `model-00094-of-00141.safetensors` `model-00095-of-00141.safetensors` `model-00096-of-00141.safetensors` `model-00097-of-00141.safetensors` `model-00098-of-00141.safetensors` `model-00099-of-00141.safetensors` `model-00100-of-00141.safetensors` `model-00101-of-00141.safetensors` `model-00102-of-00141.safetensors` `model-00103-of-00141.safetensors` `model-00104-of-00141.safetensors` `model-00105-of-00141.safetensors` `model-00106-of-00141.safetensors` `model-00107-of-00141.safetensors` `model-00108-of-00141.safetensors` `model-00109-of-00141.safetensors` `model-00110-of-00141.safetensors` `model-00111-of-00141.safetensors` `model-00112-of-00141.safetensors` `model-00113-of-00141.safetensors` `model-00114-of-00141.safetensors` `model-00115-of-00141.safetensors` `model-00116-of-00141.safetensors` `model-00117-of-00141.safetensors` `model-00118-of-00141.safetensors` `model-00119-of-00141.safetensors` `model-00120-of-00141.safetensors` `model-00121-of-00141.safetensors` `model-00122-of-00141.safetensors` `model-00123-of-00141.safetensors` `model-00124-of-00141.safetensors` `model-00125-of-00141.safetensors` `model-00126-of-00141.safetensors` `model-00127-of-00141.safetensors` `model-00128-of-00141.safetensors` `model-00129-of-00141.safetensors` `model-00130-of-00141.safetensors` `model-00131-of-00141.safetensors` `model-00132-of-00141.safetensors` `model-00133-of-00141.safetensors` `model-00134-of-00141.safetensors` `model-00135-of-00141.safetensors` `model-00136-of-00141.safetensors` `model-00137-of-00141.safetensors` `model-00138-of-00141.safetensors` `model-00139-of-00141.safetensors` `model-00140-of-00141.safetensors` `model-00141-of-00141.safetensors`	755.617.140.416 (703,72 GiB / 755,62 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q8_0 (Unsloth) gguf-q8_0 Rechner: GGUF Q8_0 (Unsloth)	17 Safetensors-Shards Ausgewählte Bytes gesamt: 801.357.677.216 (746,32 GiB / 801,36 GB) Erster Shard: Q8_0/GLM-5.3-Q8_0-00001-of-00017.gguf Letzter Shard: Q8_0/GLM-5.3-Q8_0-00017-of-00017.gguf Alle 17 Shard-Dateien anzeigen `Q8_0/GLM-5.3-Q8_0-00001-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00002-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00003-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00004-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00005-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00006-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00007-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00008-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00009-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00010-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00011-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00012-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00013-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00014-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00015-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00016-of-00017.gguf` `Q8_0/GLM-5.3-Q8_0-00017-of-00017.gguf`	801.357.677.216 (746,32 GiB / 801,36 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	Keine veröffentlichte Datei	376.664.970.240 (Theoretische Zeilen sind keine herunterladbaren Artefakte.)	—	theoretical

Speicher nach Quantisierung und Kontext

Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.

Quantisierung	2.048 tokens	8.192 tokens	32.768 tokens
FP8 safetensors	704,52 GiB–812,39 GiB	705,03 GiB–813,09 GiB	707,09 GiB–815,89 GiB
GGUF Q8_0 (Unsloth)	746,62 GiB–876,24 GiB	747,13 GiB–876,98 GiB	749,19 GiB–879,89 GiB
INT4 theoretical Theoretische Zeilen sind keine herunterladbaren Artefakte.	351,09 GiB–452,63 GiB	351,61 GiB–453,37 GiB	353,66 GiB–456,28 GiB

KV-Cache (Rohdaten)

Rechner mit diesem Modell öffnen

Quellen

GLM-5.3 model card
config.json — revision aca966e4e02791568aa6a4ced368624b3d897f42
safetensors index — metadata.total_size=755617140416
Artifact repo unsloth/GLM-5.3-GGUF

Annahmen, die das Ergebnis beeinflussen

Der Kontext liegt im dokumentierten nativen Fenster von 1048576 Tokens.
Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
Die Zahl aktiver Parameter ist unbekannt oder nicht unabhängig belegt. Aktive Parameter beschreiben geroutete Rechenlast, nicht den vollständigen residenten Gewichtsumfang.
Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
Gewichtbytes stammen aus 17 veröffentlichten Safetensors-Shards, zusammen 801357677216 Bytes.
MTP-/Draft-Gewichte existieren und zählen nur wenn aktiviert.
Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).

Rechner

Katalog-Snapshot wird geladen…

Zuerst ein Modell wählen, danach das Gerät prüfen.

Modell

Historische Modelle anzeigen

Quantisierung

Gerätetyp

Hardware

Last

Die Kontextlänge betrifft vor allem den KV-Cache.

Erweiterte Einstellungen

Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

LaufzeitKV-Cache-TypRecurrent-/Conv-State-Datentyp Theoretische Schätzungen einbeziehen (Experte) Ersatz erlauben, wenn der Filter nichts trifft

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Szenario für Laufzeitoverhead Größeren Prefill-Arbeitsspeicher einbeziehen

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

VerteilungSplit in der ReplikaAnzahl Geräte

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

ReplikagruppenGeräte je Replika

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

Reserve für System / Anzeige

GiB (2^30 Byte)

Budget enthält die Systemreserve bereits nicht mehrZusätzliche Sicherheitsmarge

Effektive Bits je Parameter (eigene Angabe)Anzeigeeinheit

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Lokale config.json laden

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Öffentliches Hugging-Face-RepoRevision

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Parameter gesamtAktive ParameterSchichtenQuery-KöpfeKV-KöpfeKopfdimension

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

GLM-5.3: VRAM- und Speicherbedarf

Herausgeber und Herkunft

Speicherschichten in dieser Schätzung

Gewählte Dateien

Speicher nach Quantisierung und Kontext

KV-Cache (Rohdaten)

Verwandte Seiten

Quellen

Annahmen, die das Ergebnis beeinflussen

Rechner