Kimi-K2-Instruct 显存与内存需求

具体的模型版本，带来源的结构和权重文件信息。 GGUF Q4_K_M (Unsloth)：8,192 个 token 下约 578.81 GiB–679.50 GiB，1 条序列，FP16 KV，llama.cpp。

当前结果是估算，不是对应环境的实测。未核实有文件依据的权重

发布方与出处

提供方Moonshot AI
Hugging Facemoonshotai/Kimi-K2-Instruct
Revisionfd1984e2b7a3350dbf7305fe73a4ede25c14de50
总参数量1,026,408,235,864
激活参数量未知 / 没有独立来源
层数61
查询头64
KV 头64 (mla)
头维度112
已记录的上下文能力131,072
完整度partial · partial

激活参数未知，或没有独立来源。激活参数描述的是 token 路由计算量，不是完整驻留权重体积。

这次估算里的内存分层

文件字节、原始 KV、引擎额外占用和总需求是分开的。这不是一次运行时轨迹。

Weight artifact: 578.15 GiB (620,781,770,528 bytes)
Raw KV cache: 0.54 GiB (575,668,224 bytes)
Engine extras / workspace: 0.13 GiB–100.82 GiB
Total estimated demand: 578.81 GiB–679.50 GiB

计入的文件

量化	计入的文件	字节	运行引擎	证据
FP8 safetensors fp8 计算器: FP8 safetensors	61 个 safetensors 分片选定字节合计：1,029,173,256,720 (958.49 GiB / 1,029.17 GB) 第一个分片：model-1-of-61.safetensors 最后一个分片：model-9-of-61.safetensors 查看全部 61 个分片文件 `model-1-of-61.safetensors` `model-10-of-61.safetensors` `model-11-of-61.safetensors` `model-12-of-61.safetensors` `model-13-of-61.safetensors` `model-14-of-61.safetensors` `model-15-of-61.safetensors` `model-16-of-61.safetensors` `model-17-of-61.safetensors` `model-18-of-61.safetensors` `model-19-of-61.safetensors` `model-2-of-61.safetensors` `model-20-of-61.safetensors` `model-21-of-61.safetensors` `model-22-of-61.safetensors` `model-23-of-61.safetensors` `model-24-of-61.safetensors` `model-25-of-61.safetensors` `model-26-of-61.safetensors` `model-27-of-61.safetensors` `model-28-of-61.safetensors` `model-29-of-61.safetensors` `model-3-of-61.safetensors` `model-30-of-61.safetensors` `model-31-of-61.safetensors` `model-32-of-61.safetensors` `model-33-of-61.safetensors` `model-34-of-61.safetensors` `model-35-of-61.safetensors` `model-36-of-61.safetensors` `model-37-of-61.safetensors` `model-38-of-61.safetensors` `model-39-of-61.safetensors` `model-4-of-61.safetensors` `model-40-of-61.safetensors` `model-41-of-61.safetensors` `model-42-of-61.safetensors` `model-43-of-61.safetensors` `model-44-of-61.safetensors` `model-45-of-61.safetensors` `model-46-of-61.safetensors` `model-47-of-61.safetensors` `model-48-of-61.safetensors` `model-49-of-61.safetensors` `model-5-of-61.safetensors` `model-50-of-61.safetensors` `model-51-of-61.safetensors` `model-52-of-61.safetensors` `model-53-of-61.safetensors` `model-54-of-61.safetensors` `model-55-of-61.safetensors` `model-56-of-61.safetensors` `model-57-of-61.safetensors` `model-58-of-61.safetensors` `model-59-of-61.safetensors` `model-6-of-61.safetensors` `model-60-of-61.safetensors` `model-61-of-61.safetensors` `model-7-of-61.safetensors` `model-8-of-61.safetensors` `model-9-of-61.safetensors`	1,029,173,256,720 (958.49 GiB / 1,029.17 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Unsloth) gguf-q4_k_m 计算器: GGUF Q4_K_M (Unsloth)	13 个 safetensors 分片选定字节合计：620,781,770,528 (578.15 GiB / 620.78 GB) 第一个分片：Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00001-of-00013.gguf 最后一个分片：Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00013-of-00013.gguf 查看全部 13 个分片文件 `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00001-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00002-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00003-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00004-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00005-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00006-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00007-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00008-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00009-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00010-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00011-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00012-of-00013.gguf` `Q4_K_M/Kimi-K2-Instruct-Q4_K_M-00013-of-00013.gguf`	620,781,770,528 (578.15 GiB / 620.78 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Unsloth) gguf-q5_k_m 计算器: GGUF Q5_K_M (Unsloth)	16 个 safetensors 分片选定字节合计：728,346,884,160 (678.33 GiB / 728.35 GB) 第一个分片：Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00001-of-00016.gguf 最后一个分片：Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00016-of-00016.gguf 查看全部 16 个分片文件 `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00001-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00002-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00003-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00004-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00005-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00006-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00007-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00008-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00009-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00010-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00011-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00012-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00013-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00014-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00015-of-00016.gguf` `Q5_K_M/Kimi-K2-Instruct-Q5_K_M-00016-of-00016.gguf`	728,346,884,160 (678.33 GiB / 728.35 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Unsloth) gguf-q6_k 计算器: GGUF Q6_K (Unsloth)	18 个 safetensors 分片选定字节合计：842,634,817,376 (784.76 GiB / 842.63 GB) 第一个分片：Q6_K/Kimi-K2-Instruct-Q6_K-00001-of-00018.gguf 最后一个分片：Q6_K/Kimi-K2-Instruct-Q6_K-00018-of-00018.gguf 查看全部 18 个分片文件 `Q6_K/Kimi-K2-Instruct-Q6_K-00001-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00002-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00003-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00004-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00005-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00006-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00007-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00008-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00009-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00010-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00011-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00012-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00013-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00014-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00015-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00016-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00017-of-00018.gguf` `Q6_K/Kimi-K2-Instruct-Q6_K-00018-of-00018.gguf`	842,634,817,376 (784.76 GiB / 842.63 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Unsloth) gguf-q8_0 计算器: GGUF Q8_0 (Unsloth)	23 个 safetensors 分片选定字节合计：1,091,053,886,208 (1,016.12 GiB / 1,091.05 GB) 第一个分片：Q8_0/Kimi-K2-Instruct-Q8_0-00001-of-00023.gguf 最后一个分片：Q8_0/Kimi-K2-Instruct-Q8_0-00023-of-00023.gguf 查看全部 23 个分片文件 `Q8_0/Kimi-K2-Instruct-Q8_0-00001-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00002-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00003-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00004-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00005-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00006-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00007-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00008-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00009-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00010-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00011-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00012-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00013-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00014-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00015-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00016-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00017-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00018-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00019-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00020-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00021-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00022-of-00023.gguf` `Q8_0/Kimi-K2-Instruct-Q8_0-00023-of-00023.gguf`	1,091,053,886,208 (1,016.12 GiB / 1,091.05 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	没有已发布的文件	513,204,117,932 (理论行不是可下载的发布文件。)	—	theoretical

按量化与上下文查看显存

并发序列数为 1。KV 默认 FP16。区间包含所列引擎已记录的运行时额外占用。这些数字与交互式计算器使用同一套核心。

量化	2,048 tokens	8,192 tokens	32,768 tokens
FP8 safetensors	959.25 GiB–1,105.32 GiB	959.65 GiB–1,105.87 GiB	961.26 GiB–1,108.06 GiB
GGUF Q4_K_M (Unsloth)	578.41 GiB–678.92 GiB	578.81 GiB–679.50 GiB	580.42 GiB–681.78 GiB
GGUF Q5_K_M (Unsloth)	678.58 GiB–796.43 GiB	678.99 GiB–797.01 GiB	680.60 GiB–799.29 GiB
GGUF Q6_K (Unsloth)	785.02 GiB–921.28 GiB	785.43 GiB–921.86 GiB	787.03 GiB–924.14 GiB
GGUF Q8_0 (Unsloth)	1,016.38 GiB–1,192.67 GiB	1,016.78 GiB–1,193.25 GiB	1,018.39 GiB–1,195.52 GiB
INT4 theoretical 理论行不是可下载的发布文件。	478.22 GiB–616.37 GiB	478.62 GiB–616.94 GiB	480.23 GiB–619.22 GiB

KV Cache（原始数据）

用这个模型打开计算器

数据来源

来源
来源 — revision fd1984e2b7a3350dbf7305fe73a4ede25c14de50
来源 — metadata.total_size=1029173256720
来源

影响结论的假设

请求的上下文在记录的原生窗口 131072 token 以内。
完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。
激活参数未知，或没有独立来源。激活参数描述的是 token 路由计算量，不是完整驻留权重体积。
权重字节只计入选定的权重文件，不会把仓库里所有量化版本加在一起。
下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
权重字节来自 13 个已发布的 safetensors 分片，合计 620781770528 字节。
上下文预算是每个序列缓存的 token 数（输入加上预留的生成长度）。
并发序列共用一份模型副本；权重不会按序列数再乘一遍。

计算器

正在加载已发布的目录快照…

先选择模型，再检查设备。

模型

显示历史模型

量化

设备类型

硬件

工作负载

上下文长度主要影响 KV Cache 内存。

高级设置

运行时

这次估算使用的引擎和 KV 缓存类型。

运行引擎KV Cache 精度循环 / 卷积状态精度包含理论估算（专家）筛选无匹配时允许替代

工作负载

开销场景，以及是否计入预填充工作区。

运行时开销情景计入更重的预填充工作区

拓扑

模型如何切到多张设备上。各设备的显存不会相加。

部署方式组内切分设备数量

副本数是高级部署选项。数量指节点或 GPU，不是副本。

副本组数每个副本的设备数

预算

系统保留和安全余量。数字框清空时保留上一次的值。

系统 / 显示预留

GiB（2^30 字节）

预算已经扣除系统占用额外安全余量

自定义每参数有效 bit 数显示单位

自定义模型

导入配置或手填结构。点导入之前不会去扫描仓库。

导入本地 config.json

仅在浏览器中解析，不会上传文件。

公开的 Hugging Face 仓库Revision

只允许 huggingface.co 上的 config.json，不使用 token，不读取私有仓库。

总参数量激活参数量层数查询头KV 头头维度

搜索或选择目录中的模型，查看本地大模型的显存需求。

搜索或选择目录中的模型，查看本地大模型的显存需求。

Kimi-K2-Instruct 显存与内存需求

发布方与出处

这次估算里的内存分层

计入的文件

按量化与上下文查看显存

KV Cache（原始数据）

相关页面

数据来源

影响结论的假设

计算器