Phi-4-mini-instruct の VRAM・メモリ要件

出典付きの構成と、選択した重みファイルに基づく具体的なチェックポイントです。 GGUF Q4_K_M (Unsloth)：8,192 トークンで約 3.45 GiB–3.94 GiB、シーケンス 1、FP16 KV、llama.cpp。

これは見積もりであり、実機トレースではありません。未確認ファイル由来の重み

公開元と出典

提供元Microsoft
Hugging Facemicrosoft/Phi-4-mini-instruct
Revisioncfbefacb99257ffa30c83adab238a50856ac3083
総パラメータ数3,836,021,760
層数32
クエリヘッド24
KVヘッド8 (gqa)
ヘッド次元128
記録されているコンテキスト上限131,072
完全性complete · full

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact: 2.32 GiB (2,491,874,272 bytes)
Raw KV cache: 1.00 GiB (1,073,741,824 bytes)
Engine extras / workspace: 0.13 GiB–0.62 GiB
Total estimated demand: 3.45 GiB–3.94 GiB

計上したファイル

量子化	計上したファイル	バイト	実行エンジン	根拠
BF16 safetensors bf16 計算機: BF16 safetensors	model-00001-of-00002.safetensors, model-00002-of-00002.safetensors	7,672,043,520 (7.15 GiB / 7.67 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Unsloth) gguf-q4_k_m 計算機: GGUF Q4_K_M (Unsloth)	Phi-4-mini-instruct-Q4_K_M.gguf	2,491,874,272 (2.32 GiB / 2.49 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Unsloth) gguf-q5_k_m 計算機: GGUF Q5_K_M (Unsloth)	Phi-4-mini-instruct-Q5_K_M.gguf	2,848,127,968 (2.65 GiB / 2.85 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Unsloth) gguf-q6_k 計算機: GGUF Q6_K (Unsloth)	Phi-4-mini-instruct-Q6_K.gguf	3,155,622,880 (2.94 GiB / 3.16 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Unsloth) gguf-q8_0 計算機: GGUF Q8_0 (Unsloth)	Phi-4-mini-instruct.Q8_0.gguf	4,084,611,040 (3.80 GiB / 4.08 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	公開ファイルなし	1,918,010,880 (理論行はダウンロード可能な成果物ではありません。)	—	theoretical

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

量子化	2,048 tokens	8,192 tokens	32,768 tokens
BF16 safetensors	8.02 GiB–9.90 GiB	8.77 GiB–10.68 GiB	11.77 GiB–13.77 GiB
GGUF Q4_K_M (Unsloth)	2.70 GiB–3.12 GiB	3.45 GiB–3.94 GiB	6.45 GiB–7.15 GiB
GGUF Q5_K_M (Unsloth)	3.03 GiB–3.46 GiB	3.78 GiB–4.28 GiB	6.78 GiB–7.49 GiB
GGUF Q6_K (Unsloth)	3.31 GiB–3.75 GiB	4.06 GiB–4.57 GiB	7.06 GiB–7.78 GiB
GGUF Q8_0 (Unsloth)	4.18 GiB–4.64 GiB	4.93 GiB–5.45 GiB	7.93 GiB–8.66 GiB
INT4 theoretical 理論行はダウンロード可能な成果物ではありません。	2.16 GiB–3.17 GiB	2.91 GiB–4.11 GiB	5.91 GiB–7.80 GiB

KV Cache（生データ）

標準の GQA/MHA 生 KV は 2 × 層数 × kvHeads × headDim × トークン数 × シーケンス数 × 要素バイトです。このページは query heads（24）ではなく KV heads（8）を使います。

8,192 tokens, 1 sequence, FP16: 1,073,741,824 bytes (1.00 GiB)
32,768 tokens: 4,294,967,296 bytes (4.00 GiB)

このモデルで計算機を開く

出典

出典
出典 — revision cfbefacb99257ffa30c83adab238a50856ac3083
出典 — metadata.total_size=7672043520
出典

結果を左右する前提

要求コンテキストは記録上のネイティブ窓 131072 トークン以内です。
常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
計上したファイル: Phi-4-mini-instruct-Q4_K_M.gguf。
コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
KV の型は、変更しない限りウェイト量子化とは独立です。

計算機

公開カタログスナップショットを読み込み中…

モデルを先に選び、その後で機器を確認します。

モデル

過去のモデルを表示

量子化

機材の種類

ハードウェア

ワークロード

コンテキスト長は主に KV キャッシュメモリに効きます。

詳細設定

ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

実行エンジンKV Cache の精度再帰 / 畳み込み状態の型理論値も含める（上級）フィルタに一致が無いとき代替を許す

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

実行時オーバーヘッドの想定プリフィル寄りの作業領域を多めに見る

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

配置方法複製内の分割デバイス数

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

複製グループ数複製あたりの台数

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

OS / 画面用の予約

GiB（2^30 バイト）

予算はすでにシステム分を除いている追加の安全マージン

パラメータあたりの実効ビット数（手動）表示単位

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ローカルの config.json を読み込む

ブラウザ内だけで解析します。ファイルは送信しません。

公開 Hugging Face リポジトリリビジョン

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

総パラメータ数アクティブパラメータ数層数クエリヘッドKVヘッドヘッド次元

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。