Qwen2.5-7B-Instruct

Qwen · Qwen/Qwen2.5-7B-Instruct · gqa · full

量化	2,048	8,192	32,768
BF16 safetensors	14.36 GiB–14.92 GiB	14.69 GiB–15.25 GiB	16.00 GiB–16.56 GiB
GGUF Q8_0	7.71 GiB–8.28 GiB	8.04 GiB–8.60 GiB	9.35 GiB–9.92 GiB
GGUF Q5_K_M	5.24 GiB–5.81 GiB	5.57 GiB–6.13 GiB	6.88 GiB–7.45 GiB
GGUF Q4_K_M	4.53 GiB–5.10 GiB	4.86 GiB–5.42 GiB	6.17 GiB–6.74 GiB
INT4 theoretical	3.72 GiB–4.63 GiB	4.04 GiB–4.96 GiB	5.36 GiB–6.27 GiB

选择模型和配置，查看内存需求。

模型硬件量化上下文长度（缓存 token 数）同时运行的序列数

高级设置

KV Cache 精度运行引擎部署方式设备数量运行时开销情景系统 / 显示预留

GiB（2^30 字节）

预算已经扣除系统占用额外安全余量自定义每参数有效 bit 数计入更重的预填充工作区显示单位

导入本地 config.json

仅在浏览器中解析，不会上传文件。

公开的 Hugging Face 仓库Revision

只允许 huggingface.co 上的 config.json，不使用 token，不读取私有仓库。

总参数量激活参数量层数Query headsKV headsHead dimension

估算结果

无法判断

缺少预算、关键数据，或部署方式超出本版本能力。

估算内存区间: 4.92 GiB – 5.42 GiB

权重使用了选定文件的元数据。运行时额外占用仍是估算。

权重4.36 GiB

KV Cache（原始数据）0.44 GiB

KV 额外占用（量化元数据等）0.00 GiB

激活 / 工作区0.06 GiB

引擎预留0.06 GiB

安全余量0.00 GiB

已有文档支持. 内存够用，不代表指定引擎、量化格式和操作系统一定能跑。软件兼容也不代表性能足够好。

完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。
权重字节只计入选定的权重文件，不会把仓库里所有量化版本加在一起。
下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
计入的文件：qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf。
上下文预算是每个序列缓存的 token 数（输入加上预留的生成长度）。
并发序列共用一份模型副本；权重不会按序列数再乘一遍。
除非你改 KV 精度，否则 KV 的数据类型与权重量化无关。
使用 4 个 KV heads，而不是 28 个 query heads。
预填充峰值和稳定解码占用不一定相同。高情景更接近预填充/工作区压力。
引擎预留不等于模型权重和 KV 的实际占用。
llama.cpp 的计算缓冲会随上下文和 batch 增长。这里是可调情景，不是实测；若有匹配校准会单独标明。