Kimi-K2-Instruct の VRAM・メモリ要件

出典付きの構成と、選択した重みファイルに基づく具体的なチェックポイントです。 GGUF Q4_K_M (Unsloth)：8,192 トークンで約 578.81 GiB–679.50 GiB、シーケンス 1、FP16 KV、llama.cpp。

これは見積もりであり、実機トレースではありません。未確認ファイル由来の重み

公開元と出典

提供元Moonshot AI
Hugging Facemoonshotai/Kimi-K2-Instruct
Revisionfd1984e2b7a3350dbf7305fe73a4ede25c14de50
総パラメータ数1,026,408,235,864
アクティブパラメータ数不明 / 独立した出典がない
層数61
クエリヘッド64
KVヘッド64 (mla)
ヘッド次元112
記録されているコンテキスト上限131,072
完全性partial · partial

アクティブパラメータ数は不明、または独立した出典がありません。アクティブ数はルーティング計算量であり、常駐ウェイト全体ではありません。

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact: 578.15 GiB (620,781,770,528 bytes)
Raw KV cache: 0.54 GiB (575,668,224 bytes)
Engine extras / workspace: 0.13 GiB–100.82 GiB
Total estimated demand: 578.81 GiB–679.50 GiB

計上したファイル

量子化	計上したファイル	バイト	実行エンジン	根拠
FP8 safetensors fp8 計算機: FP8 safetensors	safetensors シャード 61 件選択したバイトの合計：1,029,173,256,720 (958.49 GiB / 1,029.17 GB) 先頭のシャード：model-1-of-61.safetensors 末尾のシャード：model-9-of-61.safetensors シャードファイル 61 件をすべて表示 `model-1-of-61.safetensors` `model-10-of-61.safetensors` `model-11-of-61.safetensors` `model-12-of-61.safetensors` `model-13-of-61.safetensors` `model-14-of-61.safetensors` `model-15-of-61.safetensors` `model-16-of-61.safetensors` `model-17-of-61.safetensors` `model-18-of-61.safetensors` `model-19-of-61.safetensors` `model-2-of-61.safetensors` `model-20-of-61.safetensors` `model-21-of-61.safetensors` `model-22-of-61.safetensors` `model-23-of-61.safetensors` `model-24-of-61.safetensors` `model-25-of-61.safetensors` `model-26-of-61.safetensors` `model-27-of-61.safetensors` `model-28-of-61.safetensors` `model-29-of-61.safetensors` `model-3-of-61.safetensors` `model-30-of-61.safetensors` `model-31-of-61.safetensors` `model-32-of-61.safetensors` `model-33-of-61.safetensors` `model-34-of-61.safetensors` `model-35-of-61.safetensors` `model-36-of-61.safetensors` `model-37-of-61.safetensors` `model-38-of-61.safetensors` `model-39-of-61.safetensors` `model-4-of-61.safetensors` `model-40-of-61.safetensors` `model-41-of-61.safetensors` `model-42-of-61.safetensors` `model-43-of-61.safetensors` `model-44-of-61.safetensors` `model-45-of-61.safetensors` `model-46-of-61.safetensors` `model-47-of-61.safetensors` `model-48-of-61.safetensors` `model-49-of-61.safetensors` `model-5-of-61.safetensors` `model-50-of-61.safetensors` `model-51-of-61.safetensors` `model-52-of-61.safetensors` `model-53-of-61.safetensors` `model-54-of-61.safetensors` `model-55-of-61.safetensors` `model-56-of-61.safetensors` `model-57-of-61.safetensors` `model-58-of-61.safetensors` `model-59-of-61.safetensors` `model-6-of-61.safetensors` `model-60-of-61.safetensors` `model-61-of-61.safetensors` `model-7-of-61.safetensors` `model-8-of-61.safetensors` `model-9-of-61.safetensors`	1,029,173,256,720 (958.49 GiB / 1,029.17 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Unsloth) gguf-q4_k_m 計算機: GGUF Q4_K_M (Unsloth)	safetensors シャード 13 件選択したバイトの合計：620,781,770,528 (578.15 GiB / 620.78 GB) 先頭のシャード：Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00001-of-00013.gguf 末尾のシャード：Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00013-of-00013.gguf シャードファイル 13 件をすべて表示 `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00001-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00002-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00003-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00004-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00005-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00006-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00007-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00008-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00009-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00010-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00011-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00012-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00013-of-00013.gguf`	620,781,770,528 (578.15 GiB / 620.78 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Unsloth) gguf-q5_k_m 計算機: GGUF Q5_K_M (Unsloth)	safetensors シャード 16 件選択したバイトの合計：728,346,884,160 (678.33 GiB / 728.35 GB) 先頭のシャード：Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00001-of-00016.gguf 末尾のシャード：Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00016-of-00016.gguf シャードファイル 16 件をすべて表示 `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00001-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00002-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00003-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00004-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00005-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00006-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00007-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00008-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00009-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00010-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00011-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00012-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00013-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00014-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00015-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00016-of-00016.gguf`	728,346,884,160 (678.33 GiB / 728.35 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Unsloth) gguf-q6_k 計算機: GGUF Q6_K (Unsloth)	safetensors シャード 18 件選択したバイトの合計：842,634,817,376 (784.76 GiB / 842.63 GB) 先頭のシャード：Q6_K/Kimi-K2-Instruct-Q6_K-00001-of-00018.gguf 末尾のシャード：Q6_K/Kimi-K2-Instruct-Q6_K-00018-of-00018.gguf シャードファイル 18 件をすべて表示 `Q6_K/Kimi-K2-Instruct-Q6_K-00001-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00002-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00003-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00004-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00005-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00006-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00007-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00008-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00009-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00010-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00011-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00012-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00013-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00014-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00015-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00016-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00017-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00018-of-00018.gguf`	842,634,817,376 (784.76 GiB / 842.63 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Unsloth) gguf-q8_0 計算機: GGUF Q8_0 (Unsloth)	safetensors シャード 23 件選択したバイトの合計：1,091,053,886,208 (1,016.12 GiB / 1,091.05 GB) 先頭のシャード：Q8_0/Kimi-K2-Instruct-Q8_0-00001-of-00023.gguf 末尾のシャード：Q8_0/Kimi-K2-Instruct-Q8_0-00023-of-00023.gguf シャードファイル 23 件をすべて表示 `Q8_0/Kimi-K2-Instruct-Q8_0-00001-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00002-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00003-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00004-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00005-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00006-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00007-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00008-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00009-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00010-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00011-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00012-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00013-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00014-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00015-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00016-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00017-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00018-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00019-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00020-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00021-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00022-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00023-of-00023.gguf`	1,091,053,886,208 (1,016.12 GiB / 1,091.05 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	公開ファイルなし	513,204,117,932 (理論行はダウンロード可能な成果物ではありません。)	—	theoretical

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

量子化	2,048 tokens	8,192 tokens	32,768 tokens
FP8 safetensors	959.25 GiB–1,105.32 GiB	959.65 GiB–1,105.87 GiB	961.26 GiB–1,108.06 GiB
GGUF Q4_K_M (Unsloth)	578.41 GiB–678.92 GiB	578.81 GiB–679.50 GiB	580.42 GiB–681.78 GiB
GGUF Q5_K_M (Unsloth)	678.58 GiB–796.43 GiB	678.99 GiB–797.01 GiB	680.60 GiB–799.29 GiB
GGUF Q6_K (Unsloth)	785.02 GiB–921.28 GiB	785.43 GiB–921.86 GiB	787.03 GiB–924.14 GiB
GGUF Q8_0 (Unsloth)	1,016.38 GiB–1,192.67 GiB	1,016.78 GiB–1,193.25 GiB	1,018.39 GiB–1,195.52 GiB
INT4 theoretical 理論行はダウンロード可能な成果物ではありません。	478.22 GiB–616.37 GiB	478.62 GiB–616.94 GiB	480.23 GiB–619.22 GiB

KV Cache（生データ）

このモデルで計算機を開く

出典

出典
出典 — revision fd1984e2b7a3350dbf7305fe73a4ede25c14de50
出典 — metadata.total_size=1029173256720
出典

結果を左右する前提

要求コンテキストは記録上のネイティブ窓 131072 トークン以内です。
常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
アクティブパラメータ数は不明、または独立した出典がありません。アクティブ数はルーティング計算量であり、常駐ウェイト全体ではありません。
ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
ウェイトバイトは公開済み safetensors シャード 13 個、合計 620781770528 バイトです。
コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。

計算機

公開カタログスナップショットを読み込み中…

モデルを先に選び、その後で機器を確認します。

モデル

過去のモデルを表示

量子化

機材の種類

ハードウェア

ワークロード

コンテキスト長は主に KV キャッシュメモリに効きます。

詳細設定

ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

実行エンジンKV Cache の精度再帰 / 畳み込み状態の型理論値も含める（上級）フィルタに一致が無いとき代替を許す

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

実行時オーバーヘッドの想定プリフィル寄りの作業領域を多めに見る

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

配置方法複製内の分割デバイス数

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

複製グループ数複製あたりの台数

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

OS / 画面用の予約

GiB（2^30 バイト）

予算はすでにシステム分を除いている追加の安全マージン

パラメータあたりの実効ビット数（手動）表示単位

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ローカルの config.json を読み込む

ブラウザ内だけで解析します。ファイルは送信しません。

公開 Hugging Face リポジトリリビジョン

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

総パラメータ数アクティブパラメータ数層数クエリヘッドKVヘッドヘッド次元

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。

Kimi-K2-Instruct の VRAM・メモリ要件

公開元と出典

この見積もりのメモリ内訳

計上したファイル

量子化とコンテキストごとのメモリ

KV Cache（生データ）

関連ページ

出典

結果を左右する前提

計算機