本地大模型显存需求

数字按真实权重文件和官方 config.json 计算。

搜索模型

86 个模型

当前模型

DeepSeek-V4.1-Flash763B · MoE · DeepSeekFP8 safetensors · 475.9 GiB–548.0 GiBdeepseek-ai/DeepSeek-V4.1-Flash GLM-5.3-Flash321B · MoE · GLMGGUF Q8_0 (Unsloth) · 318.0 GiB–373.6 GiBzai-org/GLM-5.3-Flash Qwen3.8-27B28B · 稠密 · QwenGGUF Q4_K_M (mradermacher) · 16.4 GiB–19.7 GiBQwen/Qwen3.8-27B Qwen3.8-Flash-Next180B · MoE · QwenGGUF Q4_K_M (bartowski) · 111.8 GiB–131.5 GiBQwen/Qwen3.8-Flash-Next

按系列浏览全部模型

Qwen 39

Qwen3-VL-8B-Instruct8.8B · 稠密 · 2025-10-11GGUF Q4_K_M (Qwen) · 5.9 GiB–6.5 GiBQwen/Qwen3-VL-8B-Instruct Qwen3-VL-4B-Instruct4.4B · 稠密 · 2025-10-11GGUF Q4_K_M (Qwen) · 3.6 GiB–4.1 GiBQwen/Qwen3-VL-4B-Instruct Qwen3-VL-30B-A3B-Instruct31B · 3.0B active · MoE · 2025-09-30GGUF Q4_K_M (Qwen) · 18.2 GiB–18.9 GiBQwen/Qwen3-VL-30B-A3B-Instruct Qwen3-Next-80B-A3B-Instruct81B · 3.0B active · MoE · 2025-09-09GGUF Q4_K_M (Qwen) · 46.0 GiB–47.3 GiBQwen/Qwen3-Next-80B-A3B-Instruct Qwen3-4B-Instruct-25074.0B · 稠密 · 2025-08-05GGUF Q4_K_M (Unsloth) · 3.6 GiB–4.1 GiBQwen/Qwen3-4B-Instruct-2507 Qwen3-30B-A3B-Instruct-250731B · 3.3B active · MoE · 2025-07-28GGUF Q4_K_M (Unsloth) · 18.2 GiB–18.9 GiBQwen/Qwen3-30B-A3B-Instruct-2507 Qwen3-235B-A22B-Instruct-2507235B · 22B active · MoE · 2025-07-21GGUF Q4_K_M (Unsloth) · 134.0 GiB–137.1 GiBQwen/Qwen3-235B-A22B-Instruct-2507 Qwen3-8B-Base8.2B · 稠密 · 2025-04-28GGUF Q4_K_M (mradermacher) · 5.9 GiB–6.5 GiBQwen/Qwen3-8B-Base Qwen3-1.7B-Base1.7B · 稠密 · 2025-04-28GGUF Q4_K_M (mradermacher) · 2.0 GiB–2.5 GiBQwen/Qwen3-1.7B-Base Qwen3-235B-A22B235B · 22B active · MoE · 2025-04-27GGUF Q4_K_M (Qwen) · 134.0 GiB–137.1 GiBQwen/Qwen3-235B-A22B Qwen3-32B33B · 稠密 · 2025-04-27GGUF Q4_K_M · 20.5 GiB–21.4 GiBQwen/Qwen3-32B Qwen3-30B-A3B31B · 3.3B active · MoE · 2025-04-27GGUF Q4_K_M · 18.2 GiB–18.9 GiBQwen/Qwen3-30B-A3B Qwen3-14B15B · 稠密 · 2025-04-27GGUF Q4_K_M · 9.8 GiB–10.4 GiBQwen/Qwen3-14B Qwen3-8B8.2B · 稠密 · 2025-04-27GGUF Q4_K_M · 5.9 GiB–6.5 GiBQwen/Qwen3-8B Qwen3-4B4.0B · 稠密 · 2025-04-27GGUF Q4_K_M · 3.6 GiB–4.1 GiBQwen/Qwen3-4B Qwen3-1.7B2.0B · 稠密 · 2025-04-27GGUF Q4_K_M (Unsloth) · 2.0 GiB–2.5 GiBQwen/Qwen3-1.7B Qwen3-0.6B0.8B · 稠密 · 2025-04-27GGUF Q4_K_M (Unsloth) · 1.4 GiB–1.8 GiBQwen/Qwen3-0.6B OpenMath-Nemotron-32B33B · 稠密 · 2025-04-22GGUF Q4_K_M (mradermacher) · 20.6 GiB–21.5 GiBnvidia/OpenMath-Nemotron-32B OpenMath-Nemotron-14B15B · 稠密 · 2025-04-22GGUF Q4_K_M (mradermacher) · 10.0 GiB–10.6 GiBnvidia/OpenMath-Nemotron-14B OpenMath-Nemotron-7B7.6B · 稠密 · 2025-04-22GGUF Q4_K_M (mradermacher) · 4.9 GiB–5.4 GiBnvidia/OpenMath-Nemotron-7B Qwen2.5-VL-32B-Instruct33B · 稠密 · 2025-03-21GGUF Q4_K_M (Unsloth) · 20.6 GiB–21.5 GiBQwen/Qwen2.5-VL-32B-Instruct QwQ-32B33B · 稠密 · 2025-03-05GGUF Q4_K_M (Qwen) · 20.6 GiB–21.5 GiBQwen/QwQ-32B Qwen2.5-VL-7B-Instruct8.3B · 稠密 · 2025-01-26GGUF Q4_K_M (Unsloth) · 4.9 GiB–5.4 GiBQwen/Qwen2.5-VL-7B-Instruct Qwen2.5-VL-3B-Instruct3.8B · 稠密 · 2025-01-26GGUF Q4_K_M (Unsloth) · 2.2 GiB–2.6 GiBQwen/Qwen2.5-VL-3B-Instruct Qwen2.5-Coder-32B-Instruct33B · 稠密 · 2024-11-06GGUF Q4_K_M (Qwen) · 20.6 GiB–21.5 GiBQwen/Qwen2.5-Coder-32B-Instruct Qwen2.5-Coder-14B-Instruct15B · 稠密 · 2024-11-06GGUF Q4_K_M (Qwen) · 10.0 GiB–10.6 GiBQwen/Qwen2.5-Coder-14B-Instruct Qwen2.5-Coder-3B-Instruct3.1B · 稠密 · 2024-11-06GGUF Q4_K_M (Qwen) · 2.4 GiB–2.8 GiBQwen/Qwen2.5-Coder-3B-Instruct Qwen2.5-Math-7B-Instruct7.6B · 稠密 · 2024-09-19GGUF Q4_K_M (bartowski) · 4.9 GiB–6.2 GiBQwen/Qwen2.5-Math-7B-Instruct Qwen2.5-Coder-1.5B-Instruct1.5B · 稠密 · 2024-09-18GGUF Q4_K_M (Qwen) · 1.4 GiB–1.8 GiBQwen/Qwen2.5-Coder-1.5B-Instruct Qwen2.5-32B-Instruct33B · 稠密 · 2024-09-17GGUF Q4_K_M · 20.6 GiB–21.5 GiBQwen/Qwen2.5-32B-Instruct Qwen2.5-Coder-7B-Instruct7.6B · 稠密 · 2024-09-17GGUF Q4_K_M (Qwen) · 4.9 GiB–5.4 GiBQwen/Qwen2.5-Coder-7B-Instruct Qwen2.5-3B-Instruct3.1B · 稠密 · 2024-09-17GGUF Q4_K_M · 2.4 GiB–2.8 GiBQwen/Qwen2.5-3B-Instruct Qwen2.5-1.5B-Instruct1.5B · 稠密 · 2024-09-17GGUF Q4_K_M (Qwen) · 1.4 GiB–1.8 GiBQwen/Qwen2.5-1.5B-Instruct Qwen2.5-72B-Instruct73B · 稠密 · 2024-09-16GGUF Q4_K_M · 43.6 GiB–45.0 GiBQwen/Qwen2.5-72B-Instruct Qwen2.5-14B-Instruct15B · 稠密 · 2024-09-16GGUF Q4_K_M · 10.0 GiB–10.6 GiBQwen/Qwen2.5-14B-Instruct Qwen2.5-7B-Instruct7.6B · 稠密 · 2024-09-16GGUF Q4_K_M · 4.9 GiB–5.4 GiBQwen/Qwen2.5-7B-Instruct Qwen2.5-Coder-7B7.6B · 稠密 · 2024-09-16GGUF Q4_K_M (mradermacher) · 4.9 GiB–5.4 GiBQwen/Qwen2.5-Coder-7B Qwen2.5-0.5B-Instruct0.5B · 稠密 · 2024-09-16GGUF Q4_K_M (Qwen) · 0.7 GiB–1.1 GiBQwen/Qwen2.5-0.5B-Instruct Qwen2-7B-Instruct7.6B · 稠密 · 2024-06-04GGUF Q4_K_M (Qwen) · 4.9 GiB–5.4 GiBQwen/Qwen2-7B-Instruct

DeepSeek 10

DeepSeek-V4-Flash-0731304B · MoE · 2026-07-31FP8 safetensors · 156.2 GiB–180.2 GiBdeepseek-ai/DeepSeek-V4-Flash-0731 DeepSeek-V3.1685B · 37B active · MoE · 2025-08-21GGUF Q4_K_M (Unsloth) · 378.2 GiB–444.2 GiBdeepseek-ai/DeepSeek-V3.1 DeepSeek-R1-0528685B · 37B active · MoE · 2025-05-28GGUF Q4_K_M (Unsloth) · 377.8 GiB–443.7 GiBdeepseek-ai/DeepSeek-R1-0528 DeepSeek-V3-0324685B · 37B active · MoE · 2025-03-24GGUF Q4_K_M (Unsloth) · 377.3 GiB–443.1 GiBdeepseek-ai/DeepSeek-V3-0324 DeepSeek-R1684B · 37B active · MoE · 2025-01-20GGUF Q4_K_M (Unsloth) · 377.3 GiB–443.1 GiBdeepseek-ai/DeepSeek-R1 DeepSeek-R1-Distill-Qwen-32B33B · 稠密 · 2025-01-20GGUF Q4_K_M (Unsloth) · 20.6 GiB–21.5 GiBdeepseek-ai/DeepSeek-R1-Distill-Qwen-32B DeepSeek-R1-Distill-Llama-8B8.0B · 稠密 · 2025-01-20GGUF Q4_K_M (Unsloth) · 5.7 GiB–6.2 GiBdeepseek-ai/DeepSeek-R1-Distill-Llama-8B DeepSeek-R1-Distill-Qwen-7B7.6B · 稠密 · 2025-01-20GGUF Q4_K_M (Unsloth) · 4.9 GiB–5.4 GiBdeepseek-ai/DeepSeek-R1-Distill-Qwen-7B DeepSeek-V3685B · 37B active · MoE · 2024-12-25GGUF Q4_K_M (Unsloth) · 377.3 GiB–443.1 GiBdeepseek-ai/DeepSeek-V3 DeepSeek-V2-Lite-Chat16B · 2.4B active · MoE · 2024-05-15GGUF Q4_K_M (mradermacher) · 10.0 GiB–12.2 GiBdeepseek-ai/DeepSeek-V2-Lite-Chat

Llama 6

Llama 3.3 70B Instruct71B · 稠密 · 2024-12-06Official BF16 safetensors · 134.0 GiB–134.5 GiBmeta-llama/Llama-3.3-70B-Instruct SmolLM2-1.7B-Instruct1.7B · 稠密 · 2024-10-31GGUF Q4_K_M (Hugging Face) · 2.6 GiB–3.1 GiBHuggingFaceTB/SmolLM2-1.7B-Instruct Llama 3.2 3B Instruct3.2B · 稠密 · 2024-10-24Official BF16 safetensors · 6.9 GiB–7.5 GiBmeta-llama/Llama-3.2-3B-Instruct Llama 3.2 1B Instruct1.2B · 稠密 · 2024-10-24Official BF16 safetensors · 2.6 GiB–3.2 GiBmeta-llama/Llama-3.2-1B-Instruct Llama-3.1-Nemotron-70B-Instruct-HF71B · 稠密 · 2024-10-12GGUF Q4_K_M (bartowski) · 42.2 GiB–43.6 GiBnvidia/Llama-3.1-Nemotron-70B-Instruct-HF Llama 3.1 8B Instruct8.0B · 稠密 · 2024-07-23Official BF16 safetensors · 16.0 GiB–16.6 GiBmeta-llama/Llama-3.1-8B-Instruct

GLM 5

GLM-5.3753B · MoE · 2026-08-25GGUF Q8_0 (Unsloth) · 747.1 GiB–877.0 GiBzai-org/GLM-5.3 GLM-4.6357B · MoE · 2025-09-29GGUF Q4_K_M (Unsloth) · 203.8 GiB–208.4 GiBzai-org/GLM-4.6 GLM-4.5358B · MoE · 2025-07-20GGUF Q4_K_M (Unsloth) · 204.6 GiB–209.2 GiBzai-org/GLM-4.5 GLM-4.5-Air110B · MoE · 2025-07-20GGUF Q4_K_M (Unsloth) · 69.5 GiB–71.4 GiBzai-org/GLM-4.5-Air GLM-4-9B-04149.4B · 稠密 · 2025-04-07GGUF Q4_K_M (Unsloth) · 6.2 GiB–6.7 GiBzai-org/GLM-4-9B-0414

Google 4

Gemma 3 27B IT27B · 稠密 · 2025-03-10GGUF Q4_0 (Google QAT) · 17.2 GiB–18.0 GiBgoogle/gemma-3-27b-it Gemma 3 12B IT12B · 稠密 · 2025-03-10GGUF Q4_0 (Google QAT) · 8.5 GiB–9.0 GiBgoogle/gemma-3-12b-it Gemma 3 4B IT4.3B · 稠密 · 2025-03-10GGUF Q4_0 (Google QAT) · 3.3 GiB–3.8 GiBgoogle/gemma-3-4b-it Gemma 3 1B IT1.0B · 稠密 · 2025-03-10GGUF Q4_0 (Google QAT) · 1.1 GiB–1.5 GiBgoogle/gemma-3-1b-it

Mistral 4

Mistral-Small-24B-Instruct-250124B · 稠密 · 2025-01-28GGUF Q4_K_M (Unsloth) · 14.7 GiB–15.5 GiBmistralai/Mistral-Small-24B-Instruct-2501 Mistral-Nemo-Instruct-240712B · 稠密 · 2024-07-17GGUF Q4_K_M (Unsloth) · 8.3 GiB–8.9 GiBmistralai/Mistral-Nemo-Instruct-2407 Mistral-7B-Instruct-v0.37.2B · 稠密 · 2024-05-22GGUF Q4_K_M (bartowski) · 5.2 GiB–5.7 GiBmistralai/Mistral-7B-Instruct-v0.3 Mixtral-8x7B-Instruct-v0.147B · 13B active · MoE · 2023-12-10GGUF Q4_K_M (mradermacher) · 27.6 GiB–28.6 GiBmistralai/Mixtral-8x7B-Instruct-v0.1

Phi 4

Phi-4-reasoning15B · 稠密 · 2025-04-09GGUF Q4_K_M (Unsloth) · 10.1 GiB–10.8 GiBmicrosoft/Phi-4-reasoning Phi-4-mini-instruct3.8B · 稠密 · 2025-02-19GGUF Q4_K_M (Unsloth) · 3.4 GiB–3.9 GiBmicrosoft/Phi-4-mini-instruct phi-415B · 稠密 · 2024-12-11GGUF Q4_K_M (Unsloth) · 10.0 GiB–10.6 GiBmicrosoft/phi-4 Phi-3.5-mini-instruct3.8B · 稠密 · 2024-08-16GGUF Q4_K_M (bartowski) · 5.4 GiB–6.0 GiBmicrosoft/Phi-3.5-mini-instruct

Kimi 2

Kimi-K2-Thinking1026B · MoE · 2025-11-04GGUF Q4_K_M (Unsloth) · 579.2 GiB–680.0 GiBmoonshotai/Kimi-K2-Thinking Kimi-K2-Instruct1026B · MoE · 2025-07-11GGUF Q4_K_M (Unsloth) · 578.8 GiB–679.5 GiBmoonshotai/Kimi-K2-Instruct

MiniMax 2

MiniMax-M3427B · MoE · 2026-06-02GGUF Q4_K_M (bartowski) · 244.4 GiB–249.7 GiBMiniMaxAI/MiniMax-M3 MiniMax-M2229B · MoE · 2025-10-22GGUF Q4_K_M (Unsloth) · 130.9 GiB–134.0 GiBMiniMaxAI/MiniMax-M2

OpenAI 2

gpt-oss-120b117B · 5.1B active · MoE · 2025-08-04MXFP4 safetensors · 61.1 GiB–61.7 GiBopenai/gpt-oss-120b gpt-oss-20b21B · 3.6B active · MoE · 2025-08-04MXFP4 safetensors · 13.1 GiB–13.6 GiBopenai/gpt-oss-20b

Ant Group / inclusionAI 1

Ling-3.1-flash572B · 25B active · MoE · 2026-10-13Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) · 535.0 GiB–616.1 GiBinclusionAI/Ling-3.1-flash

Fish Audio 1

Drama 336B · 3.0B active · MoE · 2026-10-13Unofficial int4 W4A16 (GPTQ-Marlin, with codec) · 22.6 GiB–26.6 GiBfishaudio/drama-3

IBM 1

granite-3.3-8b-instruct8.2B · 稠密 · 2025-04-09GGUF Q4_K_M (IBM) · 6.0 GiB–6.5 GiBibm-granite/granite-3.3-8b-instruct

Meta 1

Muse Spark Open822B · 42B active · MoE · 2026-10-15Official NVFP4 safetensors · 498.4 GiB–499.0 GiBmeta-models/Muse-Spark-Open-816B-A42B