GeForce RTX 4090 24GB (desktop)

Schätzung

Passt voraussichtlich

Unter den aktuellen Annahmen liegt die obere Schätzung unter 90 % des Budgets.

Geschätzter Speicherbereich: 4,92 GiB – 5,42 GiB

Die Gewichte stammen aus den gewählten Dateimetadaten. Laufzeitanteile bleiben geschätzt.

Verfügbares Budget: 22,00 GiB · Rest nach der Schätzung: 16,58 GiB – 17,08 GiB

Softwareunterstützung

Dokumentiert unterstützt. Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.

Annahmen, die das Ergebnis beeinflussen

• Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
• Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
• Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
• Berücksichtigte Dateien: qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf.
• Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
• Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
• Der KV-Datentyp ist unabhängig von der Gewichtquantisierung, außer Sie ändern ihn.
• Es werden 4 KV-Köpfe verwendet, nicht 28 Query-Köpfe.
• Prefill-Spitze und stabiles Decoding sind nicht gleich. Das hohe Szenario liegt näher am Prefill.
• Die Engine-Reserve ist nicht der tatsächliche Verbrauch von Gewichten und KV.
• llama.cpp-Puffer wachsen mit Kontext und Batch. Das sind anpassbare Szenarien, keine Messungen — außer eine passende Kalibrierung liegt vor.
• Host-RAM fließt nicht automatisch in dedizierten GPU-Speicher.

Rechenweg