本地大模型显存计算器

选好显卡和模型，就能看出放不放得下，权重、KV 缓存和运行时开销都算在内。

上下文长度

上下文越长，KV 缓存（模型记住对话用的内存）占用越多。

更多选项
数量
1
量化
GGUF Q8_0 · 自动 · gguf-q8_0
Checkpoint: Qwen/Qwen2.5-7B-Instruct-GGUF
运行时

这次估算使用的引擎和 KV 缓存类型。

工作负载

开销场景，以及是否计入预填充工作区。

拓扑

模型如何切到多张设备上。各设备的显存不会相加。

副本数是高级部署选项。数量指节点或 GPU，不是副本。

预算

系统保留和安全余量。数字框清空时保留上一次的值。

GiB（2^30 字节）

%

自定义模型

导入配置或手填结构。点导入之前不会去扫描仓库。

仅在浏览器中解析，不会上传文件。

只允许 huggingface.co 上的 config.json，不使用 token，不读取私有仓库。

估算结果

装得下

Qwen2.5-7B-Instruct · 在 RTX 4090 24GB 上 · 8K 上下文

需要
8.66 GiB
RTX 4090 24GB 可用
22.00 GiB

估算范围：8.10 GiB 至 8.66 GiB。

  • 权重 7.54 GiB
  • 上下文（KV 缓存） 0.44 GiB
  • 运行开销 0.13 GiB
  • 剩余 13.34 GiB

文件： GGUF Q8_0 · 自动选择 · Qwen/Qwen2.5-7B-Instruct-GGUF

可以试试

  • 还有余量，32K 上下文也装得下：约需 10.07 GiB。

运行：未验证

详情

文件字节

Checkpoint: Qwen/Qwen2.5-7B-Instruct

软件兼容性

运行时状态说明
llama.cpp未核实内存够用，不代表指定引擎、量化格式和操作系统一定能跑。软件兼容也不代表性能足够好。
Ollama（基于 llama.cpp）未核实内存够用，不代表指定引擎、量化格式和操作系统一定能跑。软件兼容也不代表性能足够好。
vLLM未核实未核实
SGLang未核实未核实
MLX不适用于此硬件未核实
ExLlamaV3未核实未核实

证据与限制

  • 显存够用，不代表这套引擎、量化格式和系统一定能跑。
  • 文件格式表明这个引擎能读取，但这个模型、引擎版本、硬件和系统的组合没有实测过。
影响结论的假设
  • 上下文在原生窗口 32768 token 以内。
  • 完整驻留权重估算使用总参数量，MoE 里没激活的专家也算在内。
  • 权重只算选中的文件，不会把仓库里所有量化版本加在一起。
  • 下载文件大小不等于峰值显存。运行时布局、分配器对齐和 KV 缓存都要另算。
  • 计入的文件：qwen2.5-7b-instruct-q8_0-00001-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00002-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00003-of-00003.gguf。
  • 上下文长度指每条序列缓存的 token 数（输入加上预留的输出）。
  • 多条并发序列共用一份权重，权重不会按序列数翻倍。
  • KV 缓存精度和权重量化是两回事，除非你手动改。
  • 使用 4 个 KV heads，而不是 28 个 query heads。
  • 预填充峰值和稳定解码占用不一定相同。高情景更接近预填充/工作区压力。
  • 引擎预留不等于模型权重和 KV 的实际占用。
  • llama.cpp 的计算缓冲随上下文和 batch 增长。这里是可调的情景值，不是实测；有匹配的校准数据时会单独标出。
  • 主机 RAM 不会自动并入独立显卡显存。
  • 自动选择了 gguf-q8_0，结果里写明了实际用的版本。

数据集 2026-10-02.1 · 计算器 0.3.0

这些数字根据模型配置和文件大小估算，不是实测。 计算方法

显存需求是怎么算的

每个结果把下面几部分加起来，再和你的显卡或 Mac 实际可用的内存比较。结果是估算，不是实测：方法说明写明了算法，KV 缓存计算器可以单独算出上下文占用的显存。

  1. 权重

    所选权重文件（GGUF 或 safetensors）的真实字节数，而不是按参数量粗估。MoE 模型计入全部专家。

  2. KV 缓存

    随上下文长度和并发序列数增长，按每种架构自己的注意力结构计算。

  3. 运行时开销

    推理引擎的工作区和缓冲区，以区间给出，覆盖 llama.cpp、vLLM、SGLang 等引擎。

  4. 可用内存

    设备容量减去系统和显示预留。两块显卡的显存不会直接相加。

热门查询

能跑吗？

查看全部: 对比

硬件

查看全部: 硬件

模型

查看全部: 模型

指南

查看全部: 指南

已验证的部署

维护者实测过的配置：具体的硬件和运行时组合，不是笼统的显存估算。

查看全部: 部署配方