DeepSeek-V4.1-Flash auf DGX Spark (GB10): 128 GB unified, Passt nicht, Grobe Schätzung

DeepSeek-V4.1-Flash auf DGX Spark (GB10) (128 GB unified): Passt nicht. Schätzung 476,18 GiB–549,77 GiB gegen 112,00 GiB netto (FP8 safetensors, 4.096 Tokens).

Bedingte Speicherbeurteilung für eine Konfiguration. Kontext, Quantisierung oder Engine können die Aussage ändern. Konfiguration auf dieser Seite: FP8 safetensors, 4.096 gecachte Tokens, 1 Sequenz, Engine vllm. Status: Voraussichtlich zu wenig Speicher. Software: Nicht geprüft..

Der allgemeine Rechner beurteilt den kanonischen Checkpoint. Für dieses Setup sind außerdem 3 von der Community geprüfte Deployments aufgeführt.

Voraussichtlich zu wenig SpeicherNicht geprüftDas Ergebnis ist eine Schätzung, keine Messung.3 bekannte Setups

Bekannte lauffähige Setups

3 bekannte Setups

Geprüfte Deployment-Rezepte für dieses Modell auf dieser Hardware.

DeepSeek-V4.1-Flash
2× NVIDIA DGX Spark (GB10, 128 GB unified)
Vom Upstream-Maintainer gemessen
Präzision:EXL3 2.9 bpw (mul1)(2.9 bpw)
Laufzeit:vLLM· TP2
Auslagerung:Engram n-gram tables (shards 47+48) → NVME
Getestet:
  • ✓ Generierung
  • ✓ 262,144 Kontext
  • ✓ Werkzeugaufruf
  • ✓ Bild
  • ✓ spekulative Dekodierung
Gemessen:31.6 tok/s· 1 Datenstrom

Geprüftes Deployment. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗
DeepSeek-V4.1-Flash
3× NVIDIA DGX Spark (GB10, 128 GB unified)
Vom Upstream-Maintainer gemessen
Präzision:Native MXFP4 MoE + FP8 Dense
Laufzeit:SGLang· TP3
Auslagerung:Engram n-gram tables (189 GiB) → NVME
Getestet:
  • ✓ Generierung
  • ✓ ~208K Getestet (256K cfg)
  • ✓ Werkzeugaufruf
  • ✓ Bild
  • ✓ spekulative Dekodierung
Gemessen:37.9 tok/s· 1 Datenstrom

Geprüftes Deployment. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗
DeepSeek-V4.1-Flash
4× NVIDIA DGX Spark (GB10, 128 GB unified)
Vom Upstream-Maintainer gemessen
Präzision:Native MXFP4 MoE + FP8 Dense (TP=4)
Laufzeit:SGLang· TP4
Auslagerung:Engram n-gram tables (189 GiB) → NVME
Getestet:
  • ✓ Generierung
  • ✓ 1,048,576 Kontext
  • ✓ Werkzeugaufruf
  • ✓ Bild
  • ✓ spekulative Dekodierung
Gemessen:45.4 tok/s· 1 Datenstrom

Geprüftes Deployment. Die Beschreibung ist auf Englisch.

Dieses Setup verwendenSchnellstart (Englisch)Quelle ↗

Feste Seitenkonfiguration

Technische Kennungen und Freigabedaten
  • Modelldeepseek-v4.1-flash
  • Hardwarenvidia-dgx-spark-128gb-unified
  • Quantisierungfp8
  • Freigabe-Fragment für diese Identitätv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6ImRlZXBzZWVrLXY0LjEtZmxhc2giLCJoYXJkd2FyZUlkIjoibnZpZGlhLWRneC1zcGFyay0xMjhnYi11bmlmaWVkIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZnA4IiwiY29udGV4dFRva2VucyI6NDA5NiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0

Speicheraufschlüsselung

Weight artifact
475,24 GiB (510.286.023.000 bytes)
Raw KV cache
0,31 GiB (335.544.320 bytes)
Engine extras / workspace
0,63 GiB–74,22 GiB
Total estimated demand
476,18 GiB–549,77 GiB
Net calculator budget
112,00 GiB
OS / display reserve
16,00 GiB
Remaining vs net budget
-437,77 GiB–-364,18 GiB

549,77 GiB obere Schätzung gegen 112,00 GiB netto

Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.

Weitere veröffentlichte Dateien auf diesem Gerät

Gleiches Modell, Gerät und gleicher Kontext (4.096 Tokens, 1 Sequenz, FP16-KV). Jede Zeile ist ein veröffentlichter Satz Gewichtsdateien mit seiner üblichen Engine, nach Speicher sortiert.

QuantisierungLaufzeitGeschätzter SpeicherPassung
FP8 safetensors Diese Seitevllm476,18 GiB–549,77 GiBPasst nicht · Grobe Schätzung

Annahmen, die das Ergebnis beeinflussen

Diese Kombination im Rechner öffnenKV-Cache

Verwandte Seiten

Quellen

Rechner

Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.

Katalog-Snapshot wird geladen…

Zuerst ein Modell wählen, danach das Gerät prüfen.

Quantisierung

Gerätetyp

Last

Die Kontextlänge betrifft vor allem den KV-Cache.

Erweiterte Einstellungen
Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

GiB (2^30 Byte)

%

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.

Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.