VRAM-Bedarf lokaler LLMs

Die Zahlen beruhen auf den echten Gewichtsdateien und der offiziellen config.json.

Modelle suchen

86 Modelle

Aktuelle Modelle

DeepSeek-V4.1-Flash763B · MoE · DeepSeekFP8 safetensors · 475,9 GiB–548,0 GiBdeepseek-ai/DeepSeek-V4.1-Flash GLM-5.3-Flash321B · MoE · GLMGGUF Q8_0 (Unsloth) · 318,0 GiB–373,6 GiBzai-org/GLM-5.3-Flash Qwen3.8-27B28B · Dense · QwenGGUF Q4_K_M (mradermacher) · 16,4 GiB–19,7 GiBQwen/Qwen3.8-27B Qwen3.8-Flash-Next180B · MoE · QwenGGUF Q4_K_M (bartowski) · 111,8 GiB–131,5 GiBQwen/Qwen3.8-Flash-Next

Alle Modelle nach Familie

Qwen 39

Qwen3-VL-8B-Instruct8.8B · Dense · 2025-10-11GGUF Q4_K_M (Qwen) · 5,9 GiB–6,5 GiBQwen/Qwen3-VL-8B-Instruct Qwen3-VL-4B-Instruct4.4B · Dense · 2025-10-11GGUF Q4_K_M (Qwen) · 3,6 GiB–4,1 GiBQwen/Qwen3-VL-4B-Instruct Qwen3-VL-30B-A3B-Instruct31B · 3.0B active · MoE · 2025-09-30GGUF Q4_K_M (Qwen) · 18,2 GiB–18,9 GiBQwen/Qwen3-VL-30B-A3B-Instruct Qwen3-Next-80B-A3B-Instruct81B · 3.0B active · MoE · 2025-09-09GGUF Q4_K_M (Qwen) · 46,0 GiB–47,3 GiBQwen/Qwen3-Next-80B-A3B-Instruct Qwen3-4B-Instruct-25074.0B · Dense · 2025-08-05GGUF Q4_K_M (Unsloth) · 3,6 GiB–4,1 GiBQwen/Qwen3-4B-Instruct-2507 Qwen3-30B-A3B-Instruct-250731B · 3.3B active · MoE · 2025-07-28GGUF Q4_K_M (Unsloth) · 18,2 GiB–18,9 GiBQwen/Qwen3-30B-A3B-Instruct-2507 Qwen3-235B-A22B-Instruct-2507235B · 22B active · MoE · 2025-07-21GGUF Q4_K_M (Unsloth) · 134,0 GiB–137,1 GiBQwen/Qwen3-235B-A22B-Instruct-2507 Qwen3-8B-Base8.2B · Dense · 2025-04-28GGUF Q4_K_M (mradermacher) · 5,9 GiB–6,5 GiBQwen/Qwen3-8B-Base Qwen3-1.7B-Base1.7B · Dense · 2025-04-28GGUF Q4_K_M (mradermacher) · 2,0 GiB–2,5 GiBQwen/Qwen3-1.7B-Base Qwen3-235B-A22B235B · 22B active · MoE · 2025-04-27GGUF Q4_K_M (Qwen) · 134,0 GiB–137,1 GiBQwen/Qwen3-235B-A22B Qwen3-32B33B · Dense · 2025-04-27GGUF Q4_K_M · 20,5 GiB–21,4 GiBQwen/Qwen3-32B Qwen3-30B-A3B31B · 3.3B active · MoE · 2025-04-27GGUF Q4_K_M · 18,2 GiB–18,9 GiBQwen/Qwen3-30B-A3B Qwen3-14B15B · Dense · 2025-04-27GGUF Q4_K_M · 9,8 GiB–10,4 GiBQwen/Qwen3-14B Qwen3-8B8.2B · Dense · 2025-04-27GGUF Q4_K_M · 5,9 GiB–6,5 GiBQwen/Qwen3-8B Qwen3-4B4.0B · Dense · 2025-04-27GGUF Q4_K_M · 3,6 GiB–4,1 GiBQwen/Qwen3-4B Qwen3-1.7B2.0B · Dense · 2025-04-27GGUF Q4_K_M (Unsloth) · 2,0 GiB–2,5 GiBQwen/Qwen3-1.7B Qwen3-0.6B0.8B · Dense · 2025-04-27GGUF Q4_K_M (Unsloth) · 1,4 GiB–1,8 GiBQwen/Qwen3-0.6B OpenMath-Nemotron-32B33B · Dense · 2025-04-22GGUF Q4_K_M (mradermacher) · 20,6 GiB–21,5 GiBnvidia/OpenMath-Nemotron-32B OpenMath-Nemotron-14B15B · Dense · 2025-04-22GGUF Q4_K_M (mradermacher) · 10,0 GiB–10,6 GiBnvidia/OpenMath-Nemotron-14B OpenMath-Nemotron-7B7.6B · Dense · 2025-04-22GGUF Q4_K_M (mradermacher) · 4,9 GiB–5,4 GiBnvidia/OpenMath-Nemotron-7B Qwen2.5-VL-32B-Instruct33B · Dense · 2025-03-21GGUF Q4_K_M (Unsloth) · 20,6 GiB–21,5 GiBQwen/Qwen2.5-VL-32B-Instruct QwQ-32B33B · Dense · 2025-03-05GGUF Q4_K_M (Qwen) · 20,6 GiB–21,5 GiBQwen/QwQ-32B Qwen2.5-VL-7B-Instruct8.3B · Dense · 2025-01-26GGUF Q4_K_M (Unsloth) · 4,9 GiB–5,4 GiBQwen/Qwen2.5-VL-7B-Instruct Qwen2.5-VL-3B-Instruct3.8B · Dense · 2025-01-26GGUF Q4_K_M (Unsloth) · 2,2 GiB–2,6 GiBQwen/Qwen2.5-VL-3B-Instruct Qwen2.5-Coder-32B-Instruct33B · Dense · 2024-11-06GGUF Q4_K_M (Qwen) · 20,6 GiB–21,5 GiBQwen/Qwen2.5-Coder-32B-Instruct Qwen2.5-Coder-14B-Instruct15B · Dense · 2024-11-06GGUF Q4_K_M (Qwen) · 10,0 GiB–10,6 GiBQwen/Qwen2.5-Coder-14B-Instruct Qwen2.5-Coder-3B-Instruct3.1B · Dense · 2024-11-06GGUF Q4_K_M (Qwen) · 2,4 GiB–2,8 GiBQwen/Qwen2.5-Coder-3B-Instruct Qwen2.5-Math-7B-Instruct7.6B · Dense · 2024-09-19GGUF Q4_K_M (bartowski) · 4,9 GiB–6,2 GiBQwen/Qwen2.5-Math-7B-Instruct Qwen2.5-Coder-1.5B-Instruct1.5B · Dense · 2024-09-18GGUF Q4_K_M (Qwen) · 1,4 GiB–1,8 GiBQwen/Qwen2.5-Coder-1.5B-Instruct Qwen2.5-32B-Instruct33B · Dense · 2024-09-17GGUF Q4_K_M · 20,6 GiB–21,5 GiBQwen/Qwen2.5-32B-Instruct Qwen2.5-Coder-7B-Instruct7.6B · Dense · 2024-09-17GGUF Q4_K_M (Qwen) · 4,9 GiB–5,4 GiBQwen/Qwen2.5-Coder-7B-Instruct Qwen2.5-3B-Instruct3.1B · Dense · 2024-09-17GGUF Q4_K_M · 2,4 GiB–2,8 GiBQwen/Qwen2.5-3B-Instruct Qwen2.5-1.5B-Instruct1.5B · Dense · 2024-09-17GGUF Q4_K_M (Qwen) · 1,4 GiB–1,8 GiBQwen/Qwen2.5-1.5B-Instruct Qwen2.5-72B-Instruct73B · Dense · 2024-09-16GGUF Q4_K_M · 43,6 GiB–45,0 GiBQwen/Qwen2.5-72B-Instruct Qwen2.5-14B-Instruct15B · Dense · 2024-09-16GGUF Q4_K_M · 10,0 GiB–10,6 GiBQwen/Qwen2.5-14B-Instruct Qwen2.5-7B-Instruct7.6B · Dense · 2024-09-16GGUF Q4_K_M · 4,9 GiB–5,4 GiBQwen/Qwen2.5-7B-Instruct Qwen2.5-Coder-7B7.6B · Dense · 2024-09-16GGUF Q4_K_M (mradermacher) · 4,9 GiB–5,4 GiBQwen/Qwen2.5-Coder-7B Qwen2.5-0.5B-Instruct0.5B · Dense · 2024-09-16GGUF Q4_K_M (Qwen) · 0,7 GiB–1,1 GiBQwen/Qwen2.5-0.5B-Instruct Qwen2-7B-Instruct7.6B · Dense · 2024-06-04GGUF Q4_K_M (Qwen) · 4,9 GiB–5,4 GiBQwen/Qwen2-7B-Instruct

DeepSeek 10

DeepSeek-V4-Flash-0731304B · MoE · 2026-07-31FP8 safetensors · 156,2 GiB–180,2 GiBdeepseek-ai/DeepSeek-V4-Flash-0731 DeepSeek-V3.1685B · 37B active · MoE · 2025-08-21GGUF Q4_K_M (Unsloth) · 378,2 GiB–444,2 GiBdeepseek-ai/DeepSeek-V3.1 DeepSeek-R1-0528685B · 37B active · MoE · 2025-05-28GGUF Q4_K_M (Unsloth) · 377,8 GiB–443,7 GiBdeepseek-ai/DeepSeek-R1-0528 DeepSeek-V3-0324685B · 37B active · MoE · 2025-03-24GGUF Q4_K_M (Unsloth) · 377,3 GiB–443,1 GiBdeepseek-ai/DeepSeek-V3-0324 DeepSeek-R1684B · 37B active · MoE · 2025-01-20GGUF Q4_K_M (Unsloth) · 377,3 GiB–443,1 GiBdeepseek-ai/DeepSeek-R1 DeepSeek-R1-Distill-Qwen-32B33B · Dense · 2025-01-20GGUF Q4_K_M (Unsloth) · 20,6 GiB–21,5 GiBdeepseek-ai/DeepSeek-R1-Distill-Qwen-32B DeepSeek-R1-Distill-Llama-8B8.0B · Dense · 2025-01-20GGUF Q4_K_M (Unsloth) · 5,7 GiB–6,2 GiBdeepseek-ai/DeepSeek-R1-Distill-Llama-8B DeepSeek-R1-Distill-Qwen-7B7.6B · Dense · 2025-01-20GGUF Q4_K_M (Unsloth) · 4,9 GiB–5,4 GiBdeepseek-ai/DeepSeek-R1-Distill-Qwen-7B DeepSeek-V3685B · 37B active · MoE · 2024-12-25GGUF Q4_K_M (Unsloth) · 377,3 GiB–443,1 GiBdeepseek-ai/DeepSeek-V3 DeepSeek-V2-Lite-Chat16B · 2.4B active · MoE · 2024-05-15GGUF Q4_K_M (mradermacher) · 10,0 GiB–12,2 GiBdeepseek-ai/DeepSeek-V2-Lite-Chat

Llama 6

Llama 3.3 70B Instruct71B · Dense · 2024-12-06Official BF16 safetensors · 134,0 GiB–134,5 GiBmeta-llama/Llama-3.3-70B-Instruct SmolLM2-1.7B-Instruct1.7B · Dense · 2024-10-31GGUF Q4_K_M (Hugging Face) · 2,6 GiB–3,1 GiBHuggingFaceTB/SmolLM2-1.7B-Instruct Llama 3.2 3B Instruct3.2B · Dense · 2024-10-24Official BF16 safetensors · 6,9 GiB–7,5 GiBmeta-llama/Llama-3.2-3B-Instruct Llama 3.2 1B Instruct1.2B · Dense · 2024-10-24Official BF16 safetensors · 2,6 GiB–3,2 GiBmeta-llama/Llama-3.2-1B-Instruct Llama-3.1-Nemotron-70B-Instruct-HF71B · Dense · 2024-10-12GGUF Q4_K_M (bartowski) · 42,2 GiB–43,6 GiBnvidia/Llama-3.1-Nemotron-70B-Instruct-HF Llama 3.1 8B Instruct8.0B · Dense · 2024-07-23Official BF16 safetensors · 16,0 GiB–16,6 GiBmeta-llama/Llama-3.1-8B-Instruct

GLM 5

GLM-5.3753B · MoE · 2026-08-25GGUF Q8_0 (Unsloth) · 747,1 GiB–877,0 GiBzai-org/GLM-5.3 GLM-4.6357B · MoE · 2025-09-29GGUF Q4_K_M (Unsloth) · 203,8 GiB–208,4 GiBzai-org/GLM-4.6 GLM-4.5358B · MoE · 2025-07-20GGUF Q4_K_M (Unsloth) · 204,6 GiB–209,2 GiBzai-org/GLM-4.5 GLM-4.5-Air110B · MoE · 2025-07-20GGUF Q4_K_M (Unsloth) · 69,5 GiB–71,4 GiBzai-org/GLM-4.5-Air GLM-4-9B-04149.4B · Dense · 2025-04-07GGUF Q4_K_M (Unsloth) · 6,2 GiB–6,7 GiBzai-org/GLM-4-9B-0414

Google 4

Gemma 3 27B IT27B · Dense · 2025-03-10GGUF Q4_0 (Google QAT) · 17,2 GiB–18,0 GiBgoogle/gemma-3-27b-it Gemma 3 12B IT12B · Dense · 2025-03-10GGUF Q4_0 (Google QAT) · 8,5 GiB–9,0 GiBgoogle/gemma-3-12b-it Gemma 3 4B IT4.3B · Dense · 2025-03-10GGUF Q4_0 (Google QAT) · 3,3 GiB–3,8 GiBgoogle/gemma-3-4b-it Gemma 3 1B IT1.0B · Dense · 2025-03-10GGUF Q4_0 (Google QAT) · 1,1 GiB–1,5 GiBgoogle/gemma-3-1b-it

Mistral 4

Mistral-Small-24B-Instruct-250124B · Dense · 2025-01-28GGUF Q4_K_M (Unsloth) · 14,7 GiB–15,5 GiBmistralai/Mistral-Small-24B-Instruct-2501 Mistral-Nemo-Instruct-240712B · Dense · 2024-07-17GGUF Q4_K_M (Unsloth) · 8,3 GiB–8,9 GiBmistralai/Mistral-Nemo-Instruct-2407 Mistral-7B-Instruct-v0.37.2B · Dense · 2024-05-22GGUF Q4_K_M (bartowski) · 5,2 GiB–5,7 GiBmistralai/Mistral-7B-Instruct-v0.3 Mixtral-8x7B-Instruct-v0.147B · 13B active · MoE · 2023-12-10GGUF Q4_K_M (mradermacher) · 27,6 GiB–28,6 GiBmistralai/Mixtral-8x7B-Instruct-v0.1

Phi 4

Phi-4-reasoning15B · Dense · 2025-04-09GGUF Q4_K_M (Unsloth) · 10,1 GiB–10,8 GiBmicrosoft/Phi-4-reasoning Phi-4-mini-instruct3.8B · Dense · 2025-02-19GGUF Q4_K_M (Unsloth) · 3,4 GiB–3,9 GiBmicrosoft/Phi-4-mini-instruct phi-415B · Dense · 2024-12-11GGUF Q4_K_M (Unsloth) · 10,0 GiB–10,6 GiBmicrosoft/phi-4 Phi-3.5-mini-instruct3.8B · Dense · 2024-08-16GGUF Q4_K_M (bartowski) · 5,4 GiB–6,0 GiBmicrosoft/Phi-3.5-mini-instruct

Kimi 2

Kimi-K2-Thinking1026B · MoE · 2025-11-04GGUF Q4_K_M (Unsloth) · 579,2 GiB–680,0 GiBmoonshotai/Kimi-K2-Thinking Kimi-K2-Instruct1026B · MoE · 2025-07-11GGUF Q4_K_M (Unsloth) · 578,8 GiB–679,5 GiBmoonshotai/Kimi-K2-Instruct

MiniMax 2

MiniMax-M3427B · MoE · 2026-06-02GGUF Q4_K_M (bartowski) · 244,4 GiB–249,7 GiBMiniMaxAI/MiniMax-M3 MiniMax-M2229B · MoE · 2025-10-22GGUF Q4_K_M (Unsloth) · 130,9 GiB–134,0 GiBMiniMaxAI/MiniMax-M2

OpenAI 2

gpt-oss-120b117B · 5.1B active · MoE · 2025-08-04MXFP4 safetensors · 61,1 GiB–61,7 GiBopenai/gpt-oss-120b gpt-oss-20b21B · 3.6B active · MoE · 2025-08-04MXFP4 safetensors · 13,1 GiB–13,6 GiBopenai/gpt-oss-20b

Ant Group / inclusionAI 1

Ling-3.1-flash572B · 25B active · MoE · 2026-10-13Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) · 535,0 GiB–616,1 GiBinclusionAI/Ling-3.1-flash

Fish Audio 1

Drama 336B · 3.0B active · MoE · 2026-10-13Unofficial int4 W4A16 (GPTQ-Marlin, with codec) · 22,6 GiB–26,6 GiBfishaudio/drama-3

IBM 1

granite-3.3-8b-instruct8.2B · Dense · 2025-04-09GGUF Q4_K_M (IBM) · 6,0 GiB–6,5 GiBibm-granite/granite-3.3-8b-instruct

Meta 1

Muse Spark Open822B · 42B active · MoE · 2026-10-15Official NVFP4 safetensors · 498,4 GiB–499,0 GiBmeta-models/Muse-Spark-Open-816B-A42B