Qwen3-30B-A3B
Qwen · Qwen/Qwen3-30B-A3B · gqa · full
| 量化 | 2,048 | 8,192 | 32,768 |
|---|---|---|---|
| BF16 safetensors | 57.12 GiB–57.68 GiB | 57.68 GiB–58.25 GiB | 59.93 GiB–60.50 GiB |
| GGUF Q4_K_M | 17.53 GiB–18.09 GiB | 18.09 GiB–18.66 GiB | 20.34 GiB–20.91 GiB |
| GGUF Q8_0 | 30.50 GiB–31.07 GiB | 31.07 GiB–31.63 GiB | 33.32 GiB–33.88 GiB |
| INT4 theoretical | 14.45 GiB–16.44 GiB | 15.02 GiB–17.00 GiB | 17.27 GiB–19.25 GiB |
估算结果
无法判断
缺少预算、关键数据，或部署方式超出本版本能力。
估算内存区间: 18.16 GiB – 18.93 GiB
权重使用了选定文件的元数据。运行时额外占用仍是估算。
软件兼容性
已有文档支持. 内存够用，不代表指定引擎、量化格式和操作系统一定能跑。软件兼容也不代表性能足够好。
影响结论的假设
- 完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。
- 该 MoE 记录总参数 30500000000、激活参数 3300000000。激活参数的计算量不会当成权重驻留内存。
- 权重字节只计入选定的权重文件，不会把仓库里所有量化版本加在一起。
- 下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
- 计入的文件：Qwen3-30B-A3B-Q4_K_M.gguf。
- 上下文预算是每个序列缓存的 token 数（输入加上预留的生成长度）。
- 并发序列共用一份模型副本；权重不会按序列数再乘一遍。
- 除非你改 KV 精度，否则 KV 的数据类型与权重量化无关。
- 使用 4 个 KV heads，而不是 32 个 query heads。
- 预填充峰值和稳定解码占用不一定相同。高情景更接近预填充/工作区压力。
- 引擎预留不等于模型权重和 KV 的实际占用。
- llama.cpp 的计算缓冲会随上下文和 batch 增长。这里是可调情景，不是实测；若有匹配校准会单独标明。