MiniMax-M2 显存与内存需求
具体的模型版本,带来源的结构和权重文件信息。 GGUF Q4_K_M (Unsloth):8,192 个 token 下约 130.90 GiB–133.99 GiB,1 条序列,FP16 KV,llama.cpp。
当前结果是估算,不是对应环境的实测。未核实有文件依据的权重
发布方与出处
- 提供方MiniMax
- Hugging Face
MiniMaxAI/MiniMax-M2 - Revision
757303d492a50514c312788b5247a4f696a4c6a3 - 总参数量228,689,764,864
- 激活参数量未知 / 没有独立来源
- 层数62
- 查询头48
- KV 头8 (gqa)
- 头维度128
- 已记录的上下文能力196,608
- 完整度complete · full
激活参数未知,或没有独立来源。激活参数描述的是 token 路由计算量,不是完整驻留权重体积。
这次估算里的内存分层
文件字节、原始 KV、引擎额外占用和总需求是分开的。这不是一次运行时轨迹。
- Weight artifact
- 128.84 GiB (138,342,385,120 bytes)
- Raw KV cache
- 1.94 GiB (2,080,374,784 bytes)
- Engine extras / workspace
- 0.13 GiB–3.21 GiB
- Total estimated demand
- 130.90 GiB–133.99 GiB
计入的文件
| 量化 | 计入的文件 | 字节 | 运行引擎 | 证据 |
|---|---|---|---|---|
| FP8 safetensors fp8 | 480,836,588,544 (447.81 GiB / 480.84 GB) | vllm, sglang, unspecified | file-metadata | |
| GGUF Q4_K_M (Unsloth) gguf-q4_k_m | Q4_K_M/MiniMax-M2-Q4_K_M-00001-of-00003.gguf, Q4_K_M/MiniMax-M2-Q4_K_M-00002-of-00003.gguf, Q4_K_M/MiniMax-M2-Q4_K_M-00003-of-00003.gguf | 138,342,385,120 (128.84 GiB / 138.34 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q5_K_M (Unsloth) gguf-q5_k_m | Q5_K_M/MiniMax-M2-Q5_K_M-00001-of-00004.gguf, Q5_K_M/MiniMax-M2-Q5_K_M-00002-of-00004.gguf, Q5_K_M/MiniMax-M2-Q5_K_M-00003-of-00004.gguf, Q5_K_M/MiniMax-M2-Q5_K_M-00004-of-00004.gguf | 162,303,936,128 (151.16 GiB / 162.30 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q6_K (Unsloth) gguf-q6_k | Q6_K/MiniMax-M2-Q6_K-00001-of-00004.gguf, Q6_K/MiniMax-M2-Q6_K-00002-of-00004.gguf, Q6_K/MiniMax-M2-Q6_K-00003-of-00004.gguf, Q6_K/MiniMax-M2-Q6_K-00004-of-00004.gguf | 187,763,083,904 (174.87 GiB / 187.76 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q8_0 (Unsloth) gguf-q8_0 | 243,136,873,184 (226.44 GiB / 243.14 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| INT4 theoretical | 没有已发布的文件 | 114,344,882,432 (理论行不是可下载的发布文件。) | — | theoretical |
按量化与上下文查看显存
并发序列数为 1。KV 默认 FP16。区间包含所列引擎已记录的运行时额外占用。这些数字与交互式计算器使用同一套核心。
| 量化 | 2,048 tokens | 8,192 tokens | 32,768 tokens |
|---|---|---|---|
| FP8 safetensors | 448.92 GiB–450.81 GiB | 450.38 GiB–452.31 GiB | 456.19 GiB–458.30 GiB |
| GGUF Q4_K_M (Unsloth) | 129.45 GiB–132.41 GiB | 130.90 GiB–133.99 GiB | 136.72 GiB–140.21 GiB |
| GGUF Q5_K_M (Unsloth) | 151.77 GiB–155.17 GiB | 153.22 GiB–156.75 GiB | 159.03 GiB–162.97 GiB |
| GGUF Q6_K (Unsloth) | 175.48 GiB–179.36 GiB | 176.93 GiB–180.94 GiB | 182.74 GiB–187.16 GiB |
| GGUF Q8_0 (Unsloth) | 227.05 GiB–231.96 GiB | 228.50 GiB–233.54 GiB | 234.31 GiB–239.76 GiB |
| INT4 theoretical 理论行不是可下载的发布文件。 | 107.10 GiB–138.30 GiB | 108.55 GiB–140.12 GiB | 114.37 GiB–147.27 GiB |
KV Cache(原始数据)
标准 GQA/MHA 的原始 KV 为 2 × 层数 × kvHeads × headDim × token 数 × 序列数 × 每元素字节。本页使用 KV heads(8),不是 query heads(48)。
- 8,192 tokens, 1 sequence, FP16: 2,080,374,784 bytes (1.9375 GiB)
- 32,768 tokens: 8,321,499,136 bytes (7.7500 GiB)
相关页面
数据来源
影响结论的假设
- 请求的上下文在记录的原生窗口 196608 token 以内。
- 完整驻留权重估算使用总参数量,包括未激活的 MoE 专家。
- 激活参数未知,或没有独立来源。激活参数描述的是 token 路由计算量,不是完整驻留权重体积。
- 权重字节只计入选定的权重文件,不会把仓库里所有量化版本加在一起。
- 下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
- 计入的文件:Q4_K_M/MiniMax-M2-Q4_K_M-00001-of-00003.gguf, Q4_K_M/MiniMax-M2-Q4_K_M-00002-of-00003.gguf, Q4_K_M/MiniMax-M2-Q4_K_M-00003-of-00003.gguf。
- 存在 MTP / draft 权重;未启用时不计入。
- 上下文预算是每个序列缓存的 token 数(输入加上预留的生成长度)。
计算器
正在加载已发布的目录快照…
搜索或选择目录中的模型,查看本地大模型的显存需求。
搜索或选择目录中的模型,查看本地大模型的显存需求。