Qwen2.5-VL-3B-Instruct の VRAM・メモリ要件

出典付きの構成と、選択した重みファイルに基づく具体的なチェックポイントです。 GGUF Q4_K_M (Unsloth)：8,192 トークンで約 2.20 GiB–2.63 GiB、シーケンス 1、FP16 KV、llama.cpp。

これは見積もりであり、実機トレースではありません。未確認ファイル由来の重み

公開元と出典

提供元Qwen
Hugging FaceQwen/Qwen2.5-VL-3B-Instruct
Revision66285546d2b821cf421d4f5eb2576359d3770cd3
総パラメータ数3,754,622,976
層数36
クエリヘッド16
KVヘッド2 (gqa)
ヘッド次元128
記録されているコンテキスト上限128,000
完全性complete · full

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact: 1.80 GiB (1,929,901,408 bytes)
Raw KV cache: 0.28 GiB (301,989,888 bytes)
Engine extras / workspace: 0.13 GiB–0.56 GiB
Total estimated demand: 2.20 GiB–2.63 GiB

計上したファイル

量子化	計上したファイル	バイト	実行エンジン	根拠
BF16 safetensors bf16 計算機: BF16 safetensors	model-00001-of-00002.safetensors, model-00002-of-00002.safetensors	7,509,245,952 (6.99 GiB / 7.51 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Unsloth) gguf-q4_k_m 計算機: GGUF Q4_K_M (Unsloth)	Qwen2.5-VL-3B-Instruct-Q4_K_M.gguf	1,929,901,408 (1.80 GiB / 1.93 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Unsloth) gguf-q5_k_m 計算機: GGUF Q5_K_M (Unsloth)	Qwen2.5-VL-3B-Instruct-Q5_K_M.gguf	2,224,813,408 (2.07 GiB / 2.22 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Unsloth) gguf-q6_k 計算機: GGUF Q6_K (Unsloth)	Qwen2.5-VL-3B-Instruct-Q6_K.gguf	2,538,157,408 (2.36 GiB / 2.54 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Unsloth) gguf-q8_0 計算機: GGUF Q8_0 (Unsloth)	Qwen2.5-VL-3B-Instruct-Q8_0.gguf	3,285,474,656 (3.06 GiB / 3.29 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	公開ファイルなし	1,877,311,488 (理論行はダウンロード可能な成果物ではありません。)	—	theoretical

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

量子化	2,048 tokens	8,192 tokens	32,768 tokens
BF16 safetensors	7.69 GiB–9.57 GiB	7.90 GiB–9.78 GiB	8.74 GiB–10.65 GiB
GGUF Q4_K_M (Unsloth)	1.99 GiB–2.41 GiB	2.20 GiB–2.63 GiB	3.05 GiB–3.54 GiB
GGUF Q5_K_M (Unsloth)	2.27 GiB–2.69 GiB	2.48 GiB–2.91 GiB	3.32 GiB–3.82 GiB
GGUF Q6_K (Unsloth)	2.56 GiB–2.98 GiB	2.77 GiB–3.21 GiB	3.61 GiB–4.11 GiB
GGUF Q8_0 (Unsloth)	3.26 GiB–3.69 GiB	3.47 GiB–3.92 GiB	4.31 GiB–4.82 GiB
INT4 theoretical 理論行はダウンロード可能な成果物ではありません。	1.94 GiB–2.91 GiB	2.15 GiB–3.17 GiB	3.00 GiB–4.21 GiB

KV Cache（生データ）

標準の GQA/MHA 生 KV は 2 × 層数 × kvHeads × headDim × トークン数 × シーケンス数 × 要素バイトです。このページは query heads（16）ではなく KV heads（2）を使います。

8,192 tokens, 1 sequence, FP16: 301,989,888 bytes (0.2813 GiB)
32,768 tokens: 1,207,959,552 bytes (1.1250 GiB)

このモデルで計算機を開く

出典

出典
出典 — revision 66285546d2b821cf421d4f5eb2576359d3770cd3
出典 — metadata.total_size=7509245952
出典

結果を左右する前提

要求コンテキストは記録上のネイティブ窓 128000 トークン以内です。
常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
計上したファイル: Qwen2.5-VL-3B-Instruct-Q4_K_M.gguf。
視覚コンポーネントがあります。テキスト推論ではエンコーダ/projector を含めません。
コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。

計算機

公開カタログスナップショットを読み込み中…

モデルを先に選び、その後で機器を確認します。

モデル

過去のモデルを表示

量子化

機材の種類

ハードウェア

ワークロード

コンテキスト長は主に KV キャッシュメモリに効きます。

詳細設定

ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

実行エンジンKV Cache の精度再帰 / 畳み込み状態の型理論値も含める（上級）フィルタに一致が無いとき代替を許す

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

実行時オーバーヘッドの想定プリフィル寄りの作業領域を多めに見る

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

配置方法複製内の分割デバイス数

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

複製グループ数複製あたりの台数

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

OS / 画面用の予約

GiB（2^30 バイト）

予算はすでにシステム分を除いている追加の安全マージン

パラメータあたりの実効ビット数（手動）表示単位

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ローカルの config.json を読み込む

ブラウザ内だけで解析します。ファイルは送信しません。

公開 Hugging Face リポジトリリビジョン

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

総パラメータ数アクティブパラメータ数層数クエリヘッドKVヘッドヘッド次元

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。