GeForce RTX 3090 24GB (desktop): Welche lokalen LLMs in den VRAM passen
24 GB GDDR6X ist diskretes VRAM: 25.769.803.776 Bytes (24,00 GiB). Die Standard-Systemreserve beträgt 2.147.483.648 Bytes (2,00 GiB), netto 23.622.320.128 Bytes (22,00 GiB).
GeForce RTX 3090 24GB (desktop): 24,00 GiB brutto, Standardreserve 2,00 GiB, Nettobudget des Rechners 22,00 GiB. Diese Seite beantwortet die beworbene Kapazität. Die Byte-Umrechnung folgt der Katalogannahme dieser SKU.
Das Ergebnis ist eine Schätzung, keine Messung.Diskreter VRAM
Modelle für dieses Gerät
Brutto, Reserve und Nettobudget
- NVIDIAGeForce RTX 3090 24GB desktop · desktop-gpu
- Speicherartdiscrete-vram
- Vermarktet24 GB GDDR6X
- Brutto25.769.803.776 bytes = 24,00 GiB
- Standardreserve2.147.483.648 bytes = 2,00 GiB
- Nettobudget23.622.320.128 bytes = 22,00 GiB
Die Reserve ist eine änderbare Rechnerannahme, keine gemessene Desktop-Belegung. Kopflose Systeme können sie nach einer Messung der Grundlast senken.
Katalogpassung bei 8.192 Tokens
Jede Zeile ist dieselbe automatische Wahl wie im Rechner bei 8.192 Tokens: die höchste Präzision ab 3 Bit je Gewicht, die noch passt. Eine Datei darunter bleibt für die manuelle Wahl und ist nicht die automatische Zeile. Gleichzeitige Sequenzen = 1, FP16-KV. Passform und Softwareunterstützung sind getrennt. Formatkompatibilität ist kein geprüfter Lauf.
Passt voraussichtlich (51)
| Modell | Quantisierung | Schätzung | Passung | Softwareunterstützung | Beleg |
|---|---|---|---|---|---|
| Qwen2.5-0.5B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 0,85 GiB–1,24 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Gemma 3 1B IT | GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens | 1,10 GiB–1,50 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-0.6B | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 1,60 GiB–2,04 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-1.5B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 2,11 GiB–2,53 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-Coder-1.5B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 2,11 GiB–2,53 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Llama 3.2 1B Instruct | Official BF16 safetensors bf16 · 8192 tokens | 2,68 GiB–3,12 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-1.7B | GGUF Q8_0 gguf-q8_0 · 8192 tokens | 2,71 GiB–3,18 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-1.7B-Base | GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens | 2,71 GiB–3,18 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Gemma 3 4B IT | GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens | 3,33 GiB–3,79 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| SmolLM2-1.7B-Instruct | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 3,32 GiB–3,83 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-VL-3B-Instruct | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 3,47 GiB–3,92 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-3B-Instruct | GGUF Q8_0 gguf-q8_0 · 8192 tokens | 3,77 GiB–4,24 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-Coder-3B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 3,77 GiB–4,24 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Phi-4-mini-instruct | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 4,93 GiB–5,45 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-4B | GGUF Q8_0 gguf-q8_0 · 8192 tokens | 5,24 GiB–5,77 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-4B-Instruct-2507 | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 5,24 GiB–5,77 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-VL-4B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 5,24 GiB–5,77 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Llama 3.2 3B Instruct | Official BF16 safetensors bf16 · 8192 tokens | 6,98 GiB–7,54 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Phi-3.5-mini-instruct | GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens | 6,91 GiB–7,57 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2-7B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 8,10 GiB–8,66 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-VL-7B-Instruct | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 8,10 GiB–8,66 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| OpenMath-Nemotron-7B | GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens | 8,10 GiB–8,66 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-R1-Distill-Qwen-7B | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 8,10 GiB–8,66 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-7B-Instruct | GGUF Q8_0 gguf-q8_0 · 8192 tokens | 8,10 GiB–8,66 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-Coder-7B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 8,10 GiB–8,66 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-Coder-7B | GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens | 8,10 GiB–8,66 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Mistral-7B-Instruct-v0.3 | GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens | 8,30 GiB–8,89 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Gemma 3 12B IT | GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens | 8,46 GiB–9,04 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-R1-Distill-Llama-8B | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 9,08 GiB–9,68 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-Math-7B-Instruct | GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens | 8,10 GiB–9,96 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-8B | GGUF Q8_0 gguf-q8_0 · 8192 tokens | 9,36 GiB–9,98 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-8B-Base | GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens | 9,36 GiB–9,98 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-VL-8B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 9,36 GiB–9,98 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| granite-3.3-8b-instruct | GGUF Q8_0 (IBM) gguf-q8_0 · 8192 tokens | 9,46 GiB–10,09 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| GLM-4-9B-0414 | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 9,75 GiB–10,33 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| gpt-oss-20b | MXFP4 safetensors mxfp4 · 8192 tokens | 13,13 GiB–13,78 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Mistral-Nemo-Instruct-2407 | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 13,50 GiB–14,21 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-14B | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 16,00 GiB–16,75 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Llama 3.1 8B Instruct | Official BF16 safetensors bf16 · 8192 tokens | 16,08 GiB–16,83 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| phi-4 | GGUF Q8_0 (Microsoft) gguf-q8_0 · 8192 tokens | 16,20 GiB–16,97 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Phi-4-reasoning | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 16,20 GiB–16,97 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| OpenMath-Nemotron-14B | GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens | 16,25 GiB–17,02 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-Coder-14B-Instruct | GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens | 16,25 GiB–17,02 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-14B-Instruct | GGUF Q8_0 gguf-q8_0 · 8192 tokens | 16,25 GiB–17,02 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Mistral-Small-24B-Instruct-2501 | GGUF Q5_K_M (bartowski) gguf-q5_k_m · 8192 tokens | 16,99 GiB–17,76 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Gemma 3 27B IT | GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens | 17,20 GiB–17,97 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-30B-A3B | GGUF Q4_K_M gguf-q4_k_m · 8192 tokens | 18,16 GiB–18,93 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-30B-A3B-Instruct-2507 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 18,16 GiB–18,93 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-VL-30B-A3B-Instruct | GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens | 18,16 GiB–18,93 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-V2-Lite-Chat | GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens | 15,92 GiB–19,16 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3.8-27B | GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens | 16,43 GiB–19,74 GiB | Passt voraussichtlich | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
Knapp (7)
| Modell | Quantisierung | Schätzung | Passung | Softwareunterstützung | Beleg |
|---|---|---|---|---|---|
| Qwen3-32B | GGUF Q4_K_M gguf-q4_k_m · 8192 tokens | 20,53 GiB–21,41 GiB | Knapp | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| OpenMath-Nemotron-32B | GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens | 20,61 GiB–21,50 GiB | Knapp | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-VL-32B-Instruct | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 20,61 GiB–21,50 GiB | Knapp | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-R1-Distill-Qwen-32B | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 20,61 GiB–21,50 GiB | Knapp | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| QwQ-32B | GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens | 20,61 GiB–21,50 GiB | Knapp | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-Coder-32B-Instruct | GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens | 20,61 GiB–21,50 GiB | Knapp | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-32B-Instruct | GGUF Q4_K_M gguf-q4_k_m · 8192 tokens | 20,61 GiB–21,50 GiB | Knapp | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
Voraussichtlich zu wenig Speicher (28)
| Modell | Quantisierung | Schätzung | Passung | Softwareunterstützung | Beleg |
|---|---|---|---|---|---|
| Drama 3 | Unofficial int4 W4A16 (GPTQ-Marlin, with codec) int4-w4a16-community · 8192 tokens | 22,67 GiB–27,03 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Mixtral-8x7B-Instruct-v0.1 | GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens | 27,62 GiB–28,59 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Llama-3.1-Nemotron-70B-Instruct-HF | GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens | 42,23 GiB–43,57 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen2.5-72B-Instruct | GGUF Q4_K_M gguf-q4_k_m · 8192 tokens | 43,61 GiB–44,98 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-Next-80B-A3B-Instruct | GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens | 45,96 GiB–47,29 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| gpt-oss-120b | MXFP4 safetensors mxfp4 · 8192 tokens | 61,18 GiB–62,79 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| GLM-4.5-Air | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 69,53 GiB–71,36 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3.8-Flash-Next | GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens | 111,75 GiB–131,53 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| MiniMax-M2 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 130,90 GiB–133,99 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-235B-A22B | GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens | 133,99 GiB–137,11 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Qwen3-235B-A22B-Instruct-2507 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 133,99 GiB–137,11 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Llama 3.3 70B Instruct | Official BF16 safetensors bf16 · 8192 tokens | 134,04 GiB–137,22 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-V4-Flash-0731 | FP8 safetensors fp8 · 8192 tokens | 156,21 GiB–183,71 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| GLM-4.6 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 203,78 GiB–208,37 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| GLM-4.5 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 204,59 GiB–209,20 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| MiniMax-M3 | GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens | 244,40 GiB–249,71 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| GLM-5.3-Flash | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 318,04 GiB–373,58 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-V3 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 377,32 GiB–443,15 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-R1 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 377,32 GiB–443,15 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-V3-0324 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 377,32 GiB–443,15 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-R1-0528 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 377,79 GiB–443,71 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-V3.1 | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 378,22 GiB–444,21 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Muse Spark Open | Official NVFP4 safetensors nvfp4 · 8192 tokens | 498,47 GiB–508,91 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| DeepSeek-V4.1-Flash | FP8 safetensors fp8 · 8192 tokens | 475,99 GiB–558,80 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Ling-3.1-flash | Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) fp8 · 8192 tokens | 535,11 GiB–628,26 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Kimi-K2-Instruct | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 578,81 GiB–679,50 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| Kimi-K2-Thinking | GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens | 579,24 GiB–680,01 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
| GLM-5.3 | GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens | 747,13 GiB–876,98 GiB | Voraussichtlich zu wenig Speicher | Nicht geprüft | Das Ergebnis ist eine Schätzung, keine Messung. |
Gemessene und geplante Belege für diese SKU
Diese Seite ist eine Schätzung, solange keine passende Laufzeitmessung vorliegt.
Verwandte Seiten
Quellen
- NVIDIA GeForce RTX 3090 Family specs — Standard Memory Config 24 GB GDDR6X
Rechner
Katalog-Snapshot wird geladen…
Gerät und Last
GPU oder Unified Memory wählen. Kandidaten erscheinen sofort.
Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
Gerät wählen, um Kandidaten zu listen. Ein Modell ist zuerst nicht nötig.