DeepSeek-V4-Flash-0731: VRAM- und Speicherbedarf

Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. FP8 safetensors: 156,71 GiB–182,40 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, vllm.

Das Ergebnis ist eine Schätzung, keine Messung.Nicht geprüftDateigestützte Gewichte1 bekannte Setups

Bekannte lauffähige Setups

1 bekannte Setups

Von Community und Maintainern auf echter Hardware geprüfte Deployments mit belegtem Kontext, Quantisierung und Runtime.

DeepSeek-V4-Flash-0731
2× NVIDIA DGX Spark (GB10, 128 GB unified)
Vom Upstream-Maintainer gemessen
Präzision:Official FP8 Safetensors
Laufzeit:vLLM· TP2
Getestet:
  • ✓ Generierung
  • ✓ 1,048,576 Kontext
  • ✓ Werkzeugaufruf
  • ✓ Bild
  • ✓ spekulative Dekodierung
Gemessen:75.4 tok/s· 1 Datenstrom

Geprüftes Deployment. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗

Läuft auf

Herausgeber und Herkunft

Die Zahl aktiver Parameter ist unbekannt oder nicht unabhängig belegt. Aktive Parameter beschreiben geroutete Rechenlast, nicht den vollständigen residenten Gewichtsumfang.

Speicherschichten in dieser Schätzung

Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.

Weight artifact
155,42 GiB (166.878.536.440 bytes)
Raw KV cache
0,67 GiB (721.420.288 bytes)
Engine extras / workspace
0,63 GiB–26,31 GiB
Total estimated demand
156,71 GiB–182,40 GiB

Gewählte Dateien

QuantisierungGewählte DateienBytesLaufzeitBeleg
FP8 safetensors
fp8
48 Safetensors-Shards
Ausgewählte Bytes gesamt: 166.878.536.440 (155,42 GiB / 166,88 GB)
Erster Shard: model-00001-of-00048.safetensors
Letzter Shard: model-00048-of-00048.safetensors
Alle 48 Shard-Dateien anzeigen
  • model-00001-of-00048.safetensors
  • model-00002-of-00048.safetensors
  • model-00003-of-00048.safetensors
  • model-00004-of-00048.safetensors
  • model-00005-of-00048.safetensors
  • model-00006-of-00048.safetensors
  • model-00007-of-00048.safetensors
  • model-00008-of-00048.safetensors
  • model-00009-of-00048.safetensors
  • model-00010-of-00048.safetensors
  • model-00011-of-00048.safetensors
  • model-00012-of-00048.safetensors
  • model-00013-of-00048.safetensors
  • model-00014-of-00048.safetensors
  • model-00015-of-00048.safetensors
  • model-00016-of-00048.safetensors
  • model-00017-of-00048.safetensors
  • model-00018-of-00048.safetensors
  • model-00019-of-00048.safetensors
  • model-00020-of-00048.safetensors
  • model-00021-of-00048.safetensors
  • model-00022-of-00048.safetensors
  • model-00023-of-00048.safetensors
  • model-00024-of-00048.safetensors
  • model-00025-of-00048.safetensors
  • model-00026-of-00048.safetensors
  • model-00027-of-00048.safetensors
  • model-00028-of-00048.safetensors
  • model-00029-of-00048.safetensors
  • model-00030-of-00048.safetensors
  • model-00031-of-00048.safetensors
  • model-00032-of-00048.safetensors
  • model-00033-of-00048.safetensors
  • model-00034-of-00048.safetensors
  • model-00035-of-00048.safetensors
  • model-00036-of-00048.safetensors
  • model-00037-of-00048.safetensors
  • model-00038-of-00048.safetensors
  • model-00039-of-00048.safetensors
  • model-00040-of-00048.safetensors
  • model-00041-of-00048.safetensors
  • model-00042-of-00048.safetensors
  • model-00043-of-00048.safetensors
  • model-00044-of-00048.safetensors
  • model-00045-of-00048.safetensors
  • model-00046-of-00048.safetensors
  • model-00047-of-00048.safetensors
  • model-00048-of-00048.safetensors
166.878.536.440 (155,42 GiB / 166,88 GB)vllm, sglang, unspecifiedfile-metadata
INT4 theoreticalKeine veröffentlichte Datei152.090.209.247 (Theoretische Zeilen sind keine herunterladbaren Artefakte.)—theoretical

Speicher nach Quantisierung und Kontext

Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.

Quantisierung2.048 tokens8.192 tokens32.768 tokens
FP8 safetensors156,21 GiB–181,80 GiB156,71 GiB–182,40 GiB158,73 GiB–184,79 GiB
INT4 theoretical
Theoretische Zeilen sind keine herunterladbaren Artefakte.
141,94 GiB–183,21 GiB142,44 GiB–183,84 GiB144,46 GiB–186,32 GiB

KV-Cache (Rohdaten)

Rechner mit diesem Modell öffnen

Verwandte Seiten

Quellen

Annahmen, die das Ergebnis beeinflussen

Rechner

Katalog-Snapshot wird geladen…

Zuerst ein Modell wählen, danach das Gerät prüfen.

Quantisierung

Gerätetyp

Last

Die Kontextlänge betrifft vor allem den KV-Cache.

Erweiterte Einstellungen
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.