GLM-5.3-Flash Q8_0: VRAM-Bedarf 373,58 GiB (Grobe Schätzung)

VRAM-Bedarf 373,58 GiB. GLM-5.3-Flash Q8_0 bei 8.192 Tokens ist eine Schätzung von 318,04 GiB–373,58 GiB. Quelle zai-org/GLM-5.3-Flash. Datei 340.981.966.112 Bytes. Keine Grafikkarte gewählt, daher nur Bedarf, keine Einpassung. Grobe Schätzung.

Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. GGUF Q8_0 (Unsloth): 318,04 GiB–373,58 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, llama.cpp.

Das Ergebnis ist eine Schätzung, keine Messung.Nicht geprüftDateigestützte Gewichte

Herausgeber und Herkunft

Die Zahl aktiver Parameter ist unbekannt oder nicht unabhängig belegt. Aktive Parameter beschreiben geroutete Rechenlast, nicht den vollständigen residenten Gewichtsumfang.

Speicherschichten in dieser Schätzung

Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.

Weight artifact
317,56 GiB (340.981.966.112 bytes)
Raw KV cache
0,35 GiB (377.487.360 bytes)
Engine extras / workspace
0,13 GiB–55,66 GiB
Total estimated demand
318,04 GiB–373,58 GiB

Gewählte Dateien

QuantisierungGewählte DateienBytesLaufzeitBeleg
FP8 safetensors
fp8
62 Safetensors-Shards
Ausgewählte Bytes gesamt: 328.326.771.576 (305,78 GiB / 328,33 GB)
Erster Shard: model-00001-of-00062.safetensors
Letzter Shard: model-00062-of-00062.safetensors
Alle 62 Shard-Dateien anzeigen
  • model-00001-of-00062.safetensors
  • model-00002-of-00062.safetensors
  • model-00003-of-00062.safetensors
  • model-00004-of-00062.safetensors
  • model-00005-of-00062.safetensors
  • model-00006-of-00062.safetensors
  • model-00007-of-00062.safetensors
  • model-00008-of-00062.safetensors
  • model-00009-of-00062.safetensors
  • model-00010-of-00062.safetensors
  • model-00011-of-00062.safetensors
  • model-00012-of-00062.safetensors
  • model-00013-of-00062.safetensors
  • model-00014-of-00062.safetensors
  • model-00015-of-00062.safetensors
  • model-00016-of-00062.safetensors
  • model-00017-of-00062.safetensors
  • model-00018-of-00062.safetensors
  • model-00019-of-00062.safetensors
  • model-00020-of-00062.safetensors
  • model-00021-of-00062.safetensors
  • model-00022-of-00062.safetensors
  • model-00023-of-00062.safetensors
  • model-00024-of-00062.safetensors
  • model-00025-of-00062.safetensors
  • model-00026-of-00062.safetensors
  • model-00027-of-00062.safetensors
  • model-00028-of-00062.safetensors
  • model-00029-of-00062.safetensors
  • model-00030-of-00062.safetensors
  • model-00031-of-00062.safetensors
  • model-00032-of-00062.safetensors
  • model-00033-of-00062.safetensors
  • model-00034-of-00062.safetensors
  • model-00035-of-00062.safetensors
  • model-00036-of-00062.safetensors
  • model-00037-of-00062.safetensors
  • model-00038-of-00062.safetensors
  • model-00039-of-00062.safetensors
  • model-00040-of-00062.safetensors
  • model-00041-of-00062.safetensors
  • model-00042-of-00062.safetensors
  • model-00043-of-00062.safetensors
  • model-00044-of-00062.safetensors
  • model-00045-of-00062.safetensors
  • model-00046-of-00062.safetensors
  • model-00047-of-00062.safetensors
  • model-00048-of-00062.safetensors
  • model-00049-of-00062.safetensors
  • model-00050-of-00062.safetensors
  • model-00051-of-00062.safetensors
  • model-00052-of-00062.safetensors
  • model-00053-of-00062.safetensors
  • model-00054-of-00062.safetensors
  • model-00055-of-00062.safetensors
  • model-00056-of-00062.safetensors
  • model-00057-of-00062.safetensors
  • model-00058-of-00062.safetensors
  • model-00059-of-00062.safetensors
  • model-00060-of-00062.safetensors
  • model-00061-of-00062.safetensors
  • model-00062-of-00062.safetensors
328.326.771.576 (305,78 GiB / 328,33 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q8_0 (Unsloth)
gguf-q8_0
8 Safetensors-Shards
Ausgewählte Bytes gesamt: 340.981.966.112 (317,56 GiB / 340,98 GB)
Erster Shard: Q8_0/GLM-5.3-Flash-Q8_0-00001-of-00008.gguf
Letzter Shard: Q8_0/GLM-5.3-Flash-Q8_0-00008-of-00008.gguf
Alle 8 Shard-Dateien anzeigen
  • Q8_0/GLM-5.3-Flash-Q8_0-00001-of-00008.gguf
  • Q8_0/GLM-5.3-Flash-Q8_0-00002-of-00008.gguf
  • Q8_0/GLM-5.3-Flash-Q8_0-00003-of-00008.gguf
  • Q8_0/GLM-5.3-Flash-Q8_0-00004-of-00008.gguf
  • Q8_0/GLM-5.3-Flash-Q8_0-00005-of-00008.gguf
  • Q8_0/GLM-5.3-Flash-Q8_0-00006-of-00008.gguf
  • Q8_0/GLM-5.3-Flash-Q8_0-00007-of-00008.gguf
  • Q8_0/GLM-5.3-Flash-Q8_0-00008-of-00008.gguf
340.981.966.112 (317,56 GiB / 340,98 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalKeine veröffentlichte Datei160.661.515.695 (Theoretische Zeilen sind keine herunterladbaren Artefakte.)—theoretical

Speicher nach Quantisierung und Kontext

Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.

Quantisierung2.048 tokens8.192 tokens32.768 tokens
FP8 safetensors306,49 GiB–354,64 GiB306,75 GiB–355,00 GiB307,81 GiB–356,44 GiB
GGUF Q8_0 (Unsloth)317,78 GiB–373,20 GiB318,04 GiB–373,58 GiB319,10 GiB–375,07 GiB
INT4 theoretical
Theoretische Zeilen sind keine herunterladbaren Artefakte.
149,84 GiB–193,41 GiB150,10 GiB–193,79 GiB151,16 GiB–195,29 GiB

KV-Cache (Rohdaten)

Rechner mit diesem Modell öffnen

Verwandte Seiten

Quellen

Annahmen, die das Ergebnis beeinflussen

Rechner

Katalog-Snapshot wird geladen…

Zuerst ein Modell wählen, danach das Gerät prüfen.

Quantisierung

Gerätetyp

Last

Die Kontextlänge betrifft vor allem den KV-Cache.

Erweiterte Einstellungen
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.