Lokale LLMs für H100 (80GB): Was passt?

Die H100 hat 80GB. Nach 2 GiB Reserve für Betriebssystem und Anzeige sind etwa 78 GiB für ein Modell nutzbar. Bei 8K Kontext ist das größte Modell aus unserer Liste, das passt, gpt-oss-120b mit MXFP4 (etwa 62,8 GiB).

Das sind Schätzungen aus der config des Modells und den Dateigrößen, keine Messungen. So rechnen wir

Welche Modelle bei 8K passen

Jedes Modell nutzt die genaueste Datei, die passt, ein Chat gleichzeitig.

Passt (64)

Modell	Quantisierung	Summe
Qwen3-Next-80B-A3B-Instruct	GGUF Q6_K (Qwen)	61,9 GiB–63,6 GiB
gpt-oss-120b	MXFP4 safetensors	61,2 GiB–62,8 GiB
Qwen2.5-72B-Instruct	GGUF Q6_K (Qwen)	58,4 GiB–60,0 GiB
Llama-3.1-Nemotron-70B-Instruct-HF	GGUF Q6_K (bartowski)	56,5 GiB–58,2 GiB
Mixtral-8x7B-Instruct-v0.1	GGUF Q8_0 (mradermacher)	47,3 GiB–48,7 GiB
Qwen2.5-32B-Instruct	GGUF Q8_0 (Qwen)	34,6 GiB–35,7 GiB
Qwen2.5-VL-32B-Instruct	GGUF Q8_0 (mradermacher)	34,6 GiB–35,7 GiB
Qwen2.5-Coder-32B-Instruct	GGUF Q8_0 (Qwen)	34,6 GiB–35,7 GiB
QwQ-32B	GGUF Q8_0 (Qwen)	34,6 GiB–35,7 GiB
DeepSeek-R1-Distill-Qwen-32B	GGUF Q8_0 (Unsloth)	34,6 GiB–35,7 GiB
OpenMath-Nemotron-32B	GGUF Q8_0 (mradermacher)	34,6 GiB–35,7 GiB
Qwen3-32B	GGUF Q8_0 (Qwen)	34,6 GiB–35,7 GiB
Qwen3.8-27B	GGUF Q8_0 (Unsloth)	27,8 GiB–33,1 GiB
Qwen3-VL-30B-A3B-Instruct	GGUF Q8_0 (Qwen)	31,1 GiB–32,2 GiB
Qwen3-30B-A3B-Instruct-2507	GGUF Q8_0 (Unsloth)	31,1 GiB–32,2 GiB
Qwen3-30B-A3B	GGUF Q8_0	31,1 GiB–32,2 GiB
Drama 3	Unofficial int4 W4A16 (GPTQ-Marlin, with codec)	22,7 GiB–27,0 GiB
Mistral-Small-24B-Instruct-2501	GGUF Q8_0 (Unsloth)	24,7 GiB–25,6 GiB
DeepSeek-V2-Lite-Chat	GGUF Q8_0 (mradermacher)	15,9 GiB–19,2 GiB
Gemma 3 27B IT	GGUF Q4_0 (Google QAT)	17,2 GiB–18,0 GiB
Qwen2.5-14B-Instruct	GGUF Q8_0	16,2 GiB–17,0 GiB
Qwen2.5-Coder-14B-Instruct	GGUF Q8_0 (Qwen)	16,2 GiB–17,0 GiB
OpenMath-Nemotron-14B	GGUF Q8_0 (mradermacher)	16,2 GiB–17,0 GiB
Phi-4-reasoning	GGUF Q8_0 (Unsloth)	16,2 GiB–17,0 GiB
phi-4	GGUF Q8_0 (Microsoft)	16,2 GiB–17,0 GiB
Llama 3.1 8B Instruct	Official BF16 safetensors	16,1 GiB–16,8 GiB
Qwen3-14B	GGUF Q8_0 (Qwen)	16,0 GiB–16,8 GiB
Mistral-Nemo-Instruct-2407	GGUF Q8_0 (Unsloth)	13,5 GiB–14,2 GiB
gpt-oss-20b	MXFP4 safetensors	13,1 GiB–13,8 GiB
GLM-4-9B-0414	GGUF Q8_0 (Unsloth)	9,8 GiB–10,3 GiB
granite-3.3-8b-instruct	GGUF Q8_0 (IBM)	9,5 GiB–10,1 GiB
Qwen3-VL-8B-Instruct	GGUF Q8_0 (Qwen)	9,4 GiB–10,0 GiB
Qwen3-8B-Base	GGUF Q8_0 (mradermacher)	9,4 GiB–10,0 GiB
Qwen3-8B	GGUF Q8_0	9,4 GiB–10,0 GiB
Qwen2.5-Math-7B-Instruct	GGUF Q8_0 (bartowski)	8,1 GiB–10,0 GiB
DeepSeek-R1-Distill-Llama-8B	GGUF Q8_0 (Unsloth)	9,1 GiB–9,7 GiB
Gemma 3 12B IT	GGUF Q4_0 (Google QAT)	8,5 GiB–9,0 GiB
Mistral-7B-Instruct-v0.3	GGUF Q8_0 (bartowski)	8,3 GiB–8,9 GiB
Qwen2.5-Coder-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-Coder-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Qwen2.5-7B-Instruct	GGUF Q8_0	8,1 GiB–8,7 GiB
DeepSeek-R1-Distill-Qwen-7B	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
OpenMath-Nemotron-7B	GGUF Q8_0 (mradermacher)	8,1 GiB–8,7 GiB
Qwen2.5-VL-7B-Instruct	GGUF Q8_0 (Unsloth)	8,1 GiB–8,7 GiB
Qwen2-7B-Instruct	GGUF Q8_0 (Qwen)	8,1 GiB–8,7 GiB
Phi-3.5-mini-instruct	GGUF Q8_0 (bartowski)	6,9 GiB–7,6 GiB
Llama 3.2 3B Instruct	Official BF16 safetensors	7,0 GiB–7,5 GiB
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen)	5,2 GiB–5,8 GiB
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth)	5,2 GiB–5,8 GiB
Qwen3-4B	GGUF Q8_0	5,2 GiB–5,8 GiB
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth)	4,9 GiB–5,5 GiB
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen)	3,8 GiB–4,2 GiB
Qwen2.5-3B-Instruct	GGUF Q8_0	3,8 GiB–4,2 GiB
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth)	3,5 GiB–3,9 GiB
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth)	3,3 GiB–3,8 GiB
Gemma 3 4B IT	GGUF Q4_0 (Google QAT)	3,3 GiB–3,8 GiB
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher)	2,7 GiB–3,2 GiB
Qwen3-1.7B	GGUF Q8_0	2,7 GiB–3,2 GiB
Llama 3.2 1B Instruct	Official BF16 safetensors	2,7 GiB–3,1 GiB
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen)	2,1 GiB–2,5 GiB
Qwen3-0.6B	GGUF Q8_0 (Qwen)	1,6 GiB–2,0 GiB
Gemma 3 1B IT	GGUF Q4_0 (Google QAT)	1,1 GiB–1,5 GiB
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen)	0,8 GiB–1,2 GiB

Knapp (1)

Modell	Quantisierung	Summe
GLM-4.5-Air	GGUF Q4_K_M (Unsloth)	69,5 GiB–71,4 GiB

Passt nicht (21)

Qwen3.8-Flash-Next · Q4_K_M · 131,5 GiB
MiniMax-M2 · Q4_K_M · 134 GiB
Qwen3-235B-A22B · Q4_K_M · 137,1 GiB
Qwen3-235B-A22B-Instruct-2507 · Q4_K_M · 137,1 GiB
Llama 3.3 70B Instruct · BF16 · 137,2 GiB
DeepSeek-V4-Flash-0731 · FP8 · 183,7 GiB
GLM-4.6 · Q4_K_M · 208,4 GiB
GLM-4.5 · Q4_K_M · 209,2 GiB
MiniMax-M3 · Q4_K_M · 249,7 GiB
GLM-5.3-Flash · Q8_0 · 373,6 GiB
DeepSeek-V3 · Q4_K_M · 443,1 GiB
DeepSeek-R1 · Q4_K_M · 443,1 GiB
DeepSeek-V3-0324 · Q4_K_M · 443,1 GiB
DeepSeek-R1-0528 · Q4_K_M · 443,7 GiB
DeepSeek-V3.1 · Q4_K_M · 444,2 GiB
Muse Spark Open · NVFP4 · 508,9 GiB
DeepSeek-V4.1-Flash · FP8 · 558,8 GiB
Ling-3.1-flash · FP8 · 628,3 GiB
Kimi-K2-Instruct · Q4_K_M · 679,5 GiB
Kimi-K2-Thinking · Q4_K_M · 680 GiB
GLM-5.3 · Q8_0 · 877 GiB

Einzelne Kombinationen

Läuft Qwen3-32B auf H100?

Speicher

NVIDIAH100 SXM 80GB
SpeicherartDiskreter VRAM
Vermarktet80GB
Brutto80,00 GiB (85.899.345.920 bytes)
Standardreserve2,00 GiB (2.147.483.648 bytes)
Nettobudget78,00 GiB (83.751.862.272 bytes)

Die Reserve ist eine einstellbare Annahme. Auf einem Rechner ohne Bildschirm kannst du sie im Rechner senken.

Zwei dieser Karten ergeben keine größere Karte. Jede Kopie eines Modells muss auf eine Karte passen, außer die Engine teilt es per Tensor-Parallelismus auf.

Rechner mit dieser Grafikkarte öffnen Rechner

Quellen

NVIDIA H100 product page — H100 SXM GPU Memory 80GB

Rechner

Katalog-Snapshot wird geladen…

Deine GPU oder dein Mac

Modell

Kontextlänge

Mehr Kontext braucht mehr Speicher für den KV-Cache, das Arbeitsgedächtnis des Modells für die Unterhaltung.

Weitere Optionen

Historische Modelle anzeigen

Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

Quantisierungsfilter Ersatz erlauben, wenn der Filter nichts trifft

Aus: GGUF-, Q8- und andere Filter bleiben strikt. Ein: Ersatz mit angefordert, verwendet und Grund.

LaufzeitKV-Cache-TypRecurrent-/Conv-State-Datentyp Theoretische Schätzungen einbeziehen (Experte)

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Szenario für Laufzeitoverhead Größeren Prefill-Arbeitsspeicher einbeziehen

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

VerteilungSplit in der ReplikaAnzahl Geräte

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

ReplikagruppenGeräte je Replika

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

Reserve für System / Anzeige

GiB (2^30 Byte)

Budget enthält die Systemreserve bereits nicht mehrZusätzliche Sicherheitsmarge

Effektive Bits je Parameter (eigene Angabe)Anzeigeeinheit

Wähle eine GPU oder einen Mac, um passende Modelle zu sehen, oder ein Modell, um seinen Speicherbedarf zu sehen.