VRAM-Rechner für lokale LLMs

Wählen Sie Grafikkarte und Modell und sehen Sie, ob es passt, inklusive Gewichte, KV-Cache und Laufzeit-Overhead.

Deine GPU oder dein Mac

Modell

Kontextlänge

Mehr Kontext braucht mehr Speicher für den KV-Cache, das Arbeitsgedächtnis des Modells für die Unterhaltung.

Weitere Optionen

Anzahl

QuantisierungGGUF Q8_0Empfohlen8,10 GiB – 8,66 GiBLäuft mit LuftBF16 safetensors14,75 GiB – 15,44 GiBPasstGGUF Q6_K (Qwen)6,39 GiB – 6,91 GiBLäuft mit LuftGGUF Q5_K_M5,63 GiB – 6,14 GiBLäuft mit Luft

GGUF Q8_0 · Auto · gguf-q8_0

Checkpoint: Qwen/Qwen2.5-7B-Instruct-GGUF

Historische Modelle anzeigen

Laufzeit

Engine und KV-Cache-Typ für diese Schätzung.

LaufzeitKV-Cache-TypRecurrent-/Conv-State-Datentyp Theoretische Schätzungen einbeziehen (Experte) Ersatz erlauben, wenn der Filter nichts trifft

Arbeitslast

Overhead-Szenario und der Prefill-Arbeitsspeicher.

Szenario für Laufzeitoverhead Größeren Prefill-Arbeitsspeicher einbeziehen

Topologie

Wie das Modell auf Geräte verteilt wird. Speicher wird nicht addiert.

VerteilungSplit in der ReplikaAnzahl Geräte

Replikatzahl ist eine erweiterte Option. Anzahl meint Knoten oder GPUs, nicht Replikate.

ReplikagruppenGeräte je Replika

Budget

Systemreserve und Sicherheitsmarge. Ein leeres Feld behält den vorherigen Wert.

Reserve für System / Anzeige

GiB (2^30 Byte)

Budget enthält die Systemreserve bereits nicht mehrZusätzliche Sicherheitsmarge

Effektive Bits je Parameter (eigene Angabe)Anzeigeeinheit

Eigenes Modell

Konfiguration importieren oder die Architektur eintragen. Vor dem Import wird nichts gescannt.

Lokale config.json laden

Die Datei wird nur im Browser gelesen und nicht hochgeladen.

Öffentliches Hugging-Face-RepoRevision

Nur huggingface.co, nur config.json, kein Token. Private Repos werden abgelehnt.

Parameter gesamtAktive ParameterSchichtenQuery-KöpfeKV-KöpfeKopfdimension

Passt

Qwen2.5-7B-Instruct · auf RTX 4090 24GB · 8K Kontext

Benötigt

8,66 GiB

Nutzbar auf RTX 4090 24GB

22,00 GiB

Geschätzter Bereich: 8,10 GiB bis 8,66 GiB.

Gewichte 7,54 GiB
Kontext (KV-Cache) 0,44 GiB
Zusatzbedarf 0,13 GiB
Frei 13,34 GiB

Datei: GGUF Q8_0 · automatisch gewählt · Qwen/Qwen2.5-7B-Instruct-GGUF

Probier das

Es ist Platz für 32K Kontext: etwa 10,07 GiB nötig.

Laufzeit: nicht geprüft

Einzelheiten

Dateibytes

Checkpoint: Qwen/Qwen2.5-7B-Instruct

Softwareunterstützung

Runtime	Status	Hinweise
llama.cpp	Nicht geprüft	Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
Ollama (auf llama.cpp)	Nicht geprüft	Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
vLLM	Nicht geprüft	Nicht geprüft
SGLang	Nicht geprüft	Nicht geprüft
MLX	Nicht für diese Hardware	Nicht geprüft
ExLlamaV3	Nicht geprüft	Nicht geprüft

Belege und Grenzen

Genug Speicher heißt nicht, dass diese Kombination aus Engine, Quantisierung und Betriebssystem läuft.
Laut Dateiformat kann diese Engine die Datei lesen. Ein Testlauf mit diesem Modell, dieser Version, Hardware und diesem Betriebssystem ist das nicht.

Annahmen, die das Ergebnis beeinflussen

Der Kontext liegt im nativen Fenster von 32768 Tokens.
Für die geladenen Gewichte zählen alle Parameter, auch inaktive MoE-Experten.
Gezählt werden nur die gewählten Gewichtsdateien, nicht alle Quantisierungen im Repository.
Die Downloadgröße ist nicht der Spitzenbedarf an GPU-Speicher. Laufzeitlayout, Allocator-Padding und KV-Cache kommen hinzu.
Berücksichtigte Dateien: qwen2.5-7b-instruct-q8_0-00001-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00002-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00003-of-00003.gguf.
Kontextlänge = gecachte Tokens pro Sequenz (Prompt plus reservierte Ausgabe).
Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
Die KV-Präzision hängt nicht von der Quantisierung der Gewichte ab, solange Sie sie nicht ändern.
Es werden 4 KV-Köpfe verwendet, nicht 28 Query-Köpfe.
Prefill-Spitze und stabiles Decoding sind nicht gleich. Das hohe Szenario liegt näher am Prefill.
Die Engine-Reserve ist nicht der tatsächliche Verbrauch von Gewichten und KV.
llama.cpp-Puffer wachsen mit Kontext und Batch. Das sind anpassbare Szenarien, keine Messungen — außer eine passende Kalibrierung liegt vor.
Host-RAM fließt nicht automatisch in dedizierten GPU-Speicher.
Automatisch gewählt: gguf-q8_0. Das Ergebnis zeigt, was tatsächlich verwendet wird.

Datensatz 2026-10-02.1 · Rechner 0.3.0

Die Zahlen sind Schätzungen aus Modellkonfiguration und Dateigrößen, keine Messungen. Rechenweg

Woraus der VRAM-Bedarf besteht

Jedes Ergebnis addiert die Teile unten und vergleicht die Summe mit dem Speicher, den Ihre Grafikkarte oder Ihr Mac wirklich nutzen kann. Die Werte sind Schätzungen, keine Messungen: Die Methodik zeigt die Rechnung, der KV-Cache-Rechner rechnet den Kontextspeicher separat aus.

Gewichte
Bytes der gewählten Gewichtsdateien (GGUF oder safetensors), keine Schätzung aus der Parameterzahl. MoE-Modelle zählen alle Experten.
KV-Cache
Wächst mit Kontextlänge und parallelen Sequenzen und folgt dem Attention-Aufbau der jeweiligen Architektur.
Laufzeit-Overhead
Arbeitsspeicher und Puffer der Engine, als Spanne für llama.cpp, vLLM, SGLang und andere Engines.
Nutzbarer Speicher
Gerätekapazität abzüglich einer Reserve für Betriebssystem und Anzeige. Zwei GPUs werden nie einfach addiert.