Qwen3-8B-Base auf RTX 4070: Läuft mit Luft, Stand Sept. 2026
Bedingte Speicherbeurteilung für eine Konfiguration. Kontext, Quantisierung oder Engine können die Aussage ändern. Konfiguration auf dieser Seite: GGUF Q4_K_M (mradermacher), 8.192 gecachte Tokens, 1 Sequenz, Engine llama.cpp. Status: Passt voraussichtlich. Software: Nicht geprüft..
Feste Seitenkonfiguration
- ModellQwen3-8B-Base
- HardwareGeForce RTX 4070 12GB (desktop, GDDR6X)
- QuantisierungGGUF Q4_K_M (mradermacher)
- Kontextlänge (zwischengespeicherte Tokens)8.192
- Laufzeit
llama.cpp - Gleichzeitige Sequenzen1
- KV-Cache-Typfp16
Technische Kennungen und Freigabedaten
- Modell
qwen3-8b-base - Hardware
nvidia-geforce-rtx-4070-12gb-desktop - Quantisierung
gguf-q4_k_m - Freigabe-Fragment für diese Identität
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLThiLWJhc2UiLCJoYXJkd2FyZUlkIjoibnZpZGlhLWdlZm9yY2UtcnR4LTQwNzAtMTJnYi1kZXNrdG9wIiwiZGV2aWNlQ291bnQiOjEsInF1YW50aXphdGlvbklkIjoiZ2d1Zi1xNF9rX20iLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJsbGFtYS5jcHAiLCJrdlR5cGUiOiJmcDE2In19
Speicheraufschlüsselung
- Weight artifact
- 4,68 GiB (5.027.783.936 bytes)
- Raw KV cache
- 1,13 GiB (1.207.959.552 bytes)
- Engine extras / workspace
- 0,13 GiB–0,67 GiB
- Total estimated demand
- 5,93 GiB–6,48 GiB
- Net calculator budget
- 11,00 GiB
- OS / display reserve
- 1,00 GiB
- Remaining vs net budget
- 4,52 GiB–5,07 GiB
6,48 GiB obere Schätzung gegen 11,00 GiB netto
Genug Speicher bedeutet nicht, dass Engine, Quantisierung und Betriebssystem zusammenlaufen. Unterstützung bedeutet nicht, dass es schnell ist.
Weitere veröffentlichte Dateien auf diesem Gerät
Gleiches Modell, Gerät und gleicher Kontext (8.192 Tokens, 1 Sequenz, FP16-KV). Jede Zeile ist ein veröffentlichter Satz Gewichtsdateien mit seiner üblichen Engine, nach Speicher sortiert.
| Quantisierung | Laufzeit | Geschätzter Speicher | Passung |
|---|---|---|---|
| BF16 safetensors | vllm | 17,01 GiB–18,92 GiB | Passt nicht |
| GGUF Q8_0 (mradermacher) | llama.cpp | 9,36 GiB–9,98 GiB | Knapp |
| GGUF Q6_K (mradermacher) | llama.cpp | 7,51 GiB–8,09 GiB | Passt |
| GGUF Q5_K_M (mradermacher) | llama.cpp | 6,70 GiB–7,26 GiB | Läuft mit Luft |
| GGUF Q4_K_M (mradermacher) Diese Seite | llama.cpp | 5,93 GiB–6,48 GiB | Läuft mit Luft |
Annahmen, die das Ergebnis beeinflussen
- Der Kontext liegt im dokumentierten nativen Fenster von 32768 Tokens.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Berücksichtigte Dateien: Qwen3-8B-Base.Q4_K_M.gguf.
- Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
- Gleichzeitige Sequenzen teilen eine Modellkopie; Gewichte werden nicht mit der Sequenzzahl multipliziert.
- Der KV-Datentyp ist unabhängig von der Gewichtquantisierung, außer Sie ändern ihn.
Verwandte Seiten
Quellen
- Qwen3-8B-Base model card
- config.json — revision 49e3418fbbbca6ecbdf9608b4d22e5a407081db4
- safetensors index — metadata.total_size=16383567872
- Artifact repo mradermacher/Qwen3-8B-Base-GGUF
- NVIDIA GeForce RTX 40 Series specs — Original 12 GB GDDR6X SKU, not the later GDDR6 variant
Rechner
Die Komboseite behält Modell und Gerät der Route. Zum Ändern auf dem Hauptrechner anpassen; der Share behält dann diese Identität.
Katalog-Snapshot wird geladen…
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.