Llama 3.1 8B Instruct 显存与内存需求

这次估算里的内存分层

文件字节、原始 KV、引擎额外占用和总需求是分开的。这不是一次运行时轨迹。

Weight artifact

14.96 GiB (16,060,556,376 bytes)

Raw KV cache

1.00 GiB (1,073,741,824 bytes)

Engine extras / workspace

0.63 GiB–2.53 GiB

Total estimated demand

16.58 GiB–18.49 GiB

计入的文件

按量化与上下文查看显存

并发序列数为 1。KV 默认 FP16。区间包含所列引擎已记录的运行时额外占用。这些数字与交互式计算器使用同一套核心。

KV Cache（原始数据）

标准 GQA/MHA 的原始 KV 为 2 × 层数 × kvHeads × headDim × token 数 × 序列数 × 每元素字节。本页使用 KV heads（8），不是 query heads（32）。

• 8,192 tokens, 1 sequence, FP16: 1,073,741,824 bytes (1.00 GiB)
• 32,768 tokens: 4,294,967,296 bytes (4.00 GiB)

相关页面

• KV cache 计算器
• 4-bit、8-bit 与 FP16 的内存（英文）
• 文件大小不是运行时显存（英文）
• 计算方法

数据来源

• 来源
• 来源
• 来源 — sha 0e9e39f249a16976918f6564b8830bc894c89659; gated manual; safetensors.total=8030261248; 4 safetensors siblings.
• 来源
• 来源

影响结论的假设

• 请求的上下文在记录的原生窗口 131072 token 以内。
• 完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。
• 权重字节只计入选定的权重文件，不会把仓库里所有量化版本加在一起。
• 下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
• 计入的文件：model-00001-of-00004.safetensors, model-00002-of-00004.safetensors, model-00003-of-00004.safetensors, model-00004-of-00004.safetensors。
• 上下文预算是每个序列缓存的 token 数（输入加上预留的生成长度）。
• 并发序列共用一份模型副本；权重不会按序列数再乘一遍。
• 除非你改 KV 精度，否则 KV 的数据类型与权重量化无关。

计算器