Llama 3.2 3B Instruct 显存与内存需求

这次估算里的内存分层

文件字节、原始 KV、引擎额外占用和总需求是分开的。这不是一次运行时轨迹。

Weight artifact

5.98 GiB (6,425,529,048 bytes)

Raw KV cache

0.88 GiB (939,524,096 bytes)

Engine extras / workspace

0.63 GiB–2.53 GiB

Total estimated demand

7.48 GiB–9.39 GiB

计入的文件

按量化与上下文查看显存

并发序列数为 1。KV 默认 FP16。区间包含所列引擎已记录的运行时额外占用。这些数字与交互式计算器使用同一套核心。

KV Cache（原始数据）

标准 GQA/MHA 的原始 KV 为 2 × 层数 × kvHeads × headDim × token 数 × 序列数 × 每元素字节。本页使用 KV heads（8），不是 query heads（24）。

• 8,192 tokens, 1 sequence, FP16: 939,524,096 bytes (0.8750 GiB)
• 32,768 tokens: 3,758,096,384 bytes (3.5000 GiB)

相关页面

• KV cache 计算器
• 4-bit、8-bit 与 FP16 的内存（英文）
• 文件大小不是运行时显存（英文）
• 计算方法

数据来源

• 来源
• 来源
• 来源 — sha 0cb88a4f764b7a12671c53f0838cd831a0843b95; gated manual; safetensors.total=3212749824; 2 safetensors siblings.
• 来源
• 来源

影响结论的假设

• 请求的上下文在记录的原生窗口 131072 token 以内。
• 完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。
• 权重字节只计入选定的权重文件，不会把仓库里所有量化版本加在一起。
• 下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
• 计入的文件：model-00001-of-00002.safetensors, model-00002-of-00002.safetensors。
• 上下文预算是每个序列缓存的 token 数（输入加上预留的生成长度）。
• 并发序列共用一份模型副本；权重不会按序列数再乘一遍。
• 除非你改 KV 精度，否则 KV 的数据类型与权重量化无关。

计算器