VRAM 32GBで動くローカルLLM（2026年10月）

GeForce RTX 5090 32GB (desktop) は、この 32GB の独立VRAM帯で正味予算が最小のカタログ機です。記録済みの予約を引くと 30.00 GiB。ファイルサイズのある量子化で入るカタログモデルは 59 件です。月はデータセット 2026-10-02.1（2026年10月）で、ビルド時刻ではありません。

カタログのデータセット 2026-10-02.1（2026年10月）。

この帯のカタログ機

機種	公称容量	正味予算
GeForce RTX 5090 32GB (desktop) 正味予算が最小	32 GB GDDR7	30.00 GiB

入るカタログモデル

各行は代表機の、ファイルサイズがある量子化です。無い量子化は置き換えません。文脈長は記録された上限まで探します。上限が無いときは判定を 8192 とだけ示します。

帯域がカタログに無いとき、デコード上限はデータなしです。これはメモリ判定ではありません。

モデル	量子化ファイル	収まる最長コンテキスト	厳しい帯を含む最長コンテキスト	8192 の判定	デコード上限	リンク
Qwen2.5-0.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 0.68 GiB–1.07 GiB	データなし
Qwen3-0.6B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余裕あり 1.37 GiB–1.81 GiB	データなし
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	32,768	32,768	8192 余裕あり 1.10 GiB–1.50 GiB	データなし
Llama 3.2 1B Instruct	Official BF16 safetensors `bf16` · `vllm`	131,072	131,072	8192 余裕あり 3.18 GiB–5.06 GiB	データなし
Qwen2.5-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 1.38 GiB–1.80 GiB	データなし
Qwen2.5-Coder-1.5B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 1.38 GiB–1.80 GiB	データなし
SmolLM2-1.7B-Instruct	GGUF Q4_K_M (Hugging Face) `gguf-q4_k_m` · `llama.cpp`	8,192	8,192	8192 余裕あり 2.61 GiB–3.11 GiB	データなし
Qwen3-1.7B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 2.03 GiB–2.49 GiB	データなし
Qwen3-1.7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余裕あり 2.03 GiB–2.49 GiB	データなし
Qwen2.5-3B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 2.37 GiB–2.80 GiB	データなし
Qwen2.5-Coder-3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 2.37 GiB–2.80 GiB	データなし
Llama 3.2 3B Instruct	Official BF16 safetensors `bf16` · `vllm`	131,072	131,072	8192 余裕あり 7.48 GiB–9.39 GiB	データなし
Qwen2.5-VL-3B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128,000	128,000	8192 余裕あり 2.20 GiB–2.63 GiB	データなし
Phi-3.5-mini-instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	62,180	75,492	8192 余裕あり 5.35 GiB–5.98 GiB	データなし
Phi-4-mini-instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余裕あり 3.45 GiB–3.94 GiB	データなし
Qwen3-4B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余裕あり 3.58 GiB–4.08 GiB	データなし
Qwen3-4B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	165,108	200,607	8192 余裕あり 3.58 GiB–4.08 GiB	データなし
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131,072	131,072	8192 余裕あり 3.33 GiB–3.79 GiB	データなし
Qwen3-VL-4B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	165,108	200,607	8192 余裕あり 3.58 GiB–4.08 GiB	データなし
Mistral-7B-Instruct-v0.3	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 5.20 GiB–5.72 GiB	データなし
DeepSeek-R1-Distill-Qwen-7B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余裕あり 4.92 GiB–5.42 GiB	データなし
OpenMath-Nemotron-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余裕あり 4.92 GiB–5.42 GiB	データなし
Qwen2-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 4.92 GiB–5.42 GiB	データなし
Qwen2.5-7B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 4.92 GiB–5.42 GiB	データなし
Qwen2.5-Coder-7B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 4.92 GiB–5.42 GiB	データなし
Qwen2.5-Coder-7B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 4.92 GiB–5.42 GiB	データなし
Qwen2.5-Math-7B-Instruct	GGUF Q4_K_M (bartowski) `gguf-q4_k_m` · `llama.cpp`	4,096	4,096	8192 余裕あり · 粗い見積もり 4.92 GiB–6.23 GiB	データなし
DeepSeek-R1-Distill-Llama-8B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余裕あり 5.71 GiB–6.24 GiB	データなし
Llama 3.1 8B Instruct	Official BF16 safetensors `bf16` · `vllm`	75,894	118,107	8192 余裕あり 16.58 GiB–18.49 GiB	データなし
granite-3.3-8b-instruct	GGUF Q4_K_M (IBM) `gguf-q4_k_m` · `llama.cpp`	131,072	131,072	8192 余裕あり 5.98 GiB–6.53 GiB	データなし
Qwen3-8B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余裕あり 5.93 GiB–6.48 GiB	データなし
Qwen3-8B-Base	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 5.93 GiB–6.48 GiB	データなし
Qwen2.5-VL-7B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	128,000	128,000	8192 余裕あり 4.92 GiB–5.42 GiB	データなし
Qwen3-VL-8B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	147,947	183,446	8192 余裕あり 5.93 GiB–6.48 GiB	データなし	Qwen3-VL-8B-Instruct · GeForce RTX 5090 32GB (desktop)
GLM-4-9B-0414	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 6.18 GiB–6.69 GiB	データなし
Gemma 3 12B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	131,072	131,072	8192 余裕あり 8.46 GiB–9.04 GiB	データなし
Mistral-Nemo-Instruct-2407	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	118,804	131,072	8192 余裕あり 8.34 GiB–8.94 GiB	データなし
phi-4	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	16,384	16,384	8192 余裕あり 9.97 GiB–10.62 GiB	データなし
Phi-4-reasoning	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 10.12 GiB–10.77 GiB	データなし
Qwen3-14B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余裕あり 9.76 GiB–10.39 GiB	データなし
OpenMath-Nemotron-14B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	91,677	117,441	8192 余裕あり 10.00 GiB–10.64 GiB	データなし
Qwen2.5-14B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 10.00 GiB–10.64 GiB	データなし
Qwen2.5-Coder-14B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 10.00 GiB–10.64 GiB	データなし
DeepSeek-V2-Lite-Chat	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	163,840	163,840	8192 余裕あり · 粗い見積もり 10.01 GiB–12.23 GiB	データなし
gpt-oss-20b	MXFP4 safetensors `mxfp4` · `vllm`	131,072	131,072	8192 余裕あり 13.63 GiB–15.51 GiB	データなし
Mistral-Small-24B-Instruct-2501	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	32,768	32,768	8192 余裕あり 14.72 GiB–15.45 GiB	データなし
Gemma 3 27B IT	GGUF Q4_0 (Google QAT) `gguf-q4_0` · `llama.cpp`	118,798	131,072	8192 余裕あり 17.20 GiB–17.97 GiB	データなし
Qwen3.8-27B	GGUF UD-IQ1_S (Unsloth) `gguf-ud-iq1_s` · `llama.cpp`	259,351	262,144	8192 余裕あり · 粗い見積もり 6.54 GiB–8.14 GiB	データなし	Qwen3.8-27B · GeForce RTX 5090 32GB (desktop) Qwen3.8-27B · GeForce RTX 5090 32GB (desktop)
Qwen3-30B-A3B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	40,960	40,960	8192 余裕あり 18.16 GiB–18.93 GiB	データなし
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	90,567	137,546	8192 余裕あり 18.16 GiB–18.93 GiB	データなし
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	90,567	137,546	8192 余裕あり 18.16 GiB–18.93 GiB	データなし
Qwen3-32B	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	29,579	40,960	8192 収まる 20.53 GiB–21.41 GiB	データなし
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	29,254	46,641	8192 収まる 20.61 GiB–21.50 GiB	データなし
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher) `gguf-q4_k_m` · `llama.cpp`	29,254	46,641	8192 収まる 20.61 GiB–21.50 GiB	データなし
Qwen2.5-32B-Instruct	GGUF Q4_K_M `gguf-q4_k_m` · `llama.cpp`	29,254	32,768	8192 収まる 20.61 GiB–21.50 GiB	データなし
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	29,254	32,768	8192 収まる 20.61 GiB–21.50 GiB	データなし
QwQ-32B	GGUF Q4_K_M (Qwen) `gguf-q4_k_m` · `llama.cpp`	29,254	40,960	8192 収まる 20.61 GiB–21.50 GiB	データなし
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth) `gguf-q4_k_m` · `llama.cpp`	29,254	46,641	8192 収まる 20.61 GiB–21.50 GiB	データなし
Drama 3	Unofficial int4 W4A16 (GPTQ-Marlin, with codec) `int4-w4a16-community` · `sglang`	24,401	262,144	8192 収まる · 粗い見積もり 22.61 GiB–26.64 GiB	データなし

掲載済みの組み合わせ

DeepSeek-V4.1-Flash · GeForce RTX 5090 32GB (desktop)