MiniMax-M3 显存与内存需求
具体的模型版本,带来源的结构和权重文件信息。 GGUF Q4_K_M (bartowski):8,192 个 token 下约 244.40 GiB–249.71 GiB,1 条序列,FP16 KV,llama.cpp。
当前结果是估算,不是对应环境的实测。未核实有文件依据的权重
发布方与出处
- 提供方MiniMax
- Hugging Face
MiniMaxAI/MiniMax-M3 - Revision
f0e1c1e04d40177e4673a22097036854f536e9c0 - 总参数量427,040,140,160
- 激活参数量未知 / 没有独立来源
- 层数60
- 查询头64
- KV 头4 (gqa)
- 头维度128
- 已记录的上下文能力1,048,576
- 完整度partial · partial
激活参数未知,或没有独立来源。激活参数描述的是 token 路由计算量,不是完整驻留权重体积。
这次估算里的内存分层
文件字节、原始 KV、引擎额外占用和总需求是分开的。这不是一次运行时轨迹。
- Weight artifact
- 243.34 GiB (261,282,110,272 bytes)
- Raw KV cache
- 0.94 GiB (1,006,632,960 bytes)
- Engine extras / workspace
- 0.13 GiB–5.43 GiB
- Total estimated demand
- 244.40 GiB–249.71 GiB
计入的文件
| 量化 | 计入的文件 | 字节 | 运行引擎 | 证据 |
|---|---|---|---|---|
| BF16 safetensors bf16 | 869,157,697,024 (809.47 GiB / 869.16 GB) | vllm, sglang, unspecified | file-metadata | |
| GGUF Q8_0 (Unsloth) gguf-q8_0 | 452,714,559,392 (421.62 GiB / 452.71 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q4_K_M (bartowski) gguf-q4_k_m | 261,282,110,272 (243.34 GiB / 261.28 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q5_K_M (bartowski) gguf-q5_k_m | 305,348,746,176 (284.38 GiB / 305.35 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q6_K (bartowski) gguf-q6_k | 369,400,554,688 (344.03 GiB / 369.40 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| INT4 theoretical | 没有已发布的文件 | 213,520,070,080 (理论行不是可下载的发布文件。) | — | theoretical |
按量化与上下文查看显存
并发序列数为 1。KV 默认 FP16。区间包含所列引擎已记录的运行时额外占用。这些数字与交互式计算器使用同一套核心。
| 量化 | 2,048 tokens | 8,192 tokens | 32,768 tokens |
|---|---|---|---|
| BF16 safetensors | 810.33 GiB–812.21 GiB | 811.03 GiB–812.93 GiB | 813.84 GiB–815.83 GiB |
| GGUF Q8_0 (Unsloth) | 421.98 GiB–430.79 GiB | 422.69 GiB–431.56 GiB | 425.50 GiB–434.57 GiB |
| GGUF Q4_K_M (bartowski) | 243.70 GiB–248.94 GiB | 244.40 GiB–249.71 GiB | 247.21 GiB–252.72 GiB |
| GGUF Q5_K_M (bartowski) | 284.74 GiB–290.80 GiB | 285.44 GiB–291.57 GiB | 288.25 GiB–294.58 GiB |
| GGUF Q6_K (bartowski) | 344.39 GiB–351.65 GiB | 345.09 GiB–352.41 GiB | 347.91 GiB–355.42 GiB |
| INT4 theoretical 理论行不是可下载的发布文件。 | 199.22 GiB–256.98 GiB | 199.92 GiB–257.86 GiB | 202.73 GiB–261.32 GiB |
KV Cache(原始数据)
标准 GQA/MHA 的原始 KV 为 2 × 层数 × kvHeads × headDim × token 数 × 序列数 × 每元素字节。本页使用 KV heads(4),不是 query heads(64)。
- 8,192 tokens, 1 sequence, FP16: 1,006,632,960 bytes (0.9375 GiB)
- 32,768 tokens: 4,026,531,840 bytes (3.7500 GiB)
相关页面
数据来源
影响结论的假设
- 请求的上下文在记录的原生窗口 1048576 token 以内。
- 完整驻留权重估算使用总参数量,包括未激活的 MoE 专家。
- 激活参数未知,或没有独立来源。激活参数描述的是 token 路由计算量,不是完整驻留权重体积。
- 权重字节只计入选定的权重文件,不会把仓库里所有量化版本加在一起。
- 下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
- 权重字节来自 7 个已发布的 safetensors 分片,合计 261282110272 字节。
- 该 checkpoint 含视觉组件。纯文本推理不计入视觉编码器或 projector。
- 存在 MTP / draft 权重;未启用时不计入。
计算器
正在加载已发布的目录快照…
搜索或选择目录中的模型,查看本地大模型的显存需求。
搜索或选择目录中的模型,查看本地大模型的显存需求。