Qwen3-VL-4B-Instruct 显存与内存需求

Qwen/Qwen3-VL-4B-Instruct 检查点在本目录中的 BF16 safetensors 为 8,875,631,616 字节（8.27 GiB / 8.88 GB）。下载大小不是峰值显存，下面的数字是估算。

具体的模型版本，带来源的结构和权重文件信息。 GGUF Q4_K_M (Qwen)：8,192 个 token 下约 3.58 GiB–4.08 GiB，1 条序列，FP16 KV，llama.cpp。

当前结果是估算，不是对应环境的实测。未核实有文件依据的权重

发布方与出处

提供方Qwen
Hugging FaceQwen/Qwen3-VL-4B-Instruct
Revisionebb281ec70b05090aa6165b016eac8ec08e71b17
总参数量4,437,815,808
层数36
查询头32
KV 头8 (gqa)
头维度128
已记录的上下文能力262,144
完整度complete · full

这次估算里的内存分层

文件字节、原始 KV、引擎额外占用和总需求是分开的。这不是一次运行时轨迹。

Weight artifact: 2.33 GiB (2,497,281,664 bytes)
Raw KV cache: 1.13 GiB (1,207,959,552 bytes)
Engine extras / workspace: 0.13 GiB–0.63 GiB
Total estimated demand: 3.58 GiB–4.08 GiB

计入的文件

量化	计入的文件	字节	运行引擎	证据
BF16 safetensors bf16 计算器: BF16 safetensors	model-00001-of-00002.safetensors, model-00002-of-00002.safetensors	8,875,631,616 (8.27 GiB / 8.88 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Qwen) gguf-q4_k_m 计算器: GGUF Q4_K_M (Qwen)	Qwen3VL-4B-Instruct-Q4_K_M.gguf	2,497,281,664 (2.33 GiB / 2.50 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Qwen) gguf-q8_0 计算器: GGUF Q8_0 (Qwen)	Qwen3VL-4B-Instruct-Q8_0.gguf	4,280,406,144 (3.99 GiB / 4.28 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Unsloth) gguf-q5_k_m 计算器: GGUF Q5_K_M (Unsloth)	Qwen3-VL-4B-Instruct-Q5_K_M.gguf	2,889,515,296 (2.69 GiB / 2.89 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Unsloth) gguf-q6_k 计算器: GGUF Q6_K (Unsloth)	Qwen3-VL-4B-Instruct-Q6_K.gguf	3,306,262,816 (3.08 GiB / 3.31 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	没有已发布的文件	2,218,907,904 (理论行不是可下载的发布文件。)	—	theoretical

按量化与上下文查看显存

并发序列数为 1。KV 默认 FP16。区间包含所列引擎已记录的运行时额外占用。这些数字与交互式计算器使用同一套核心。

量化	2,048 tokens	8,192 tokens	32,768 tokens
BF16 safetensors	9.17 GiB–11.06 GiB	10.02 GiB–11.92 GiB	13.39 GiB–15.40 GiB
GGUF Q4_K_M (Qwen)	2.73 GiB–3.16 GiB	3.58 GiB–4.08 GiB	6.95 GiB–7.69 GiB
GGUF Q8_0 (Qwen)	4.39 GiB–4.85 GiB	5.24 GiB–5.77 GiB	8.61 GiB–9.38 GiB
GGUF Q5_K_M (Unsloth)	3.10 GiB–3.53 GiB	3.94 GiB–4.45 GiB	7.32 GiB–8.06 GiB
GGUF Q6_K (Unsloth)	3.49 GiB–3.93 GiB	4.33 GiB–4.84 GiB	7.70 GiB–8.46 GiB
INT4 theoretical 理论行不是可下载的发布文件。	2.47 GiB–3.57 GiB	3.32 GiB–4.62 GiB	6.69 GiB–8.77 GiB

KV Cache（原始数据）

标准 GQA/MHA 的原始 KV 为 2 × 层数 × kvHeads × headDim × token 数 × 序列数 × 每元素字节。本页使用 KV heads（8），不是 query heads（32）。

8,192 tokens, 1 sequence, FP16: 1,207,959,552 bytes (1.1250 GiB)
32,768 tokens: 4,831,838,208 bytes (4.5000 GiB)

用这个模型打开计算器

数据来源

来源
来源 — revision ebb281ec70b05090aa6165b016eac8ec08e71b17
来源 — metadata.total_size=8875631616
来源
来源

影响结论的假设

请求的上下文在记录的原生窗口 262144 token 以内。
完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。
权重字节只计入选定的权重文件，不会把仓库里所有量化版本加在一起。
下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
计入的文件：Qwen3VL-4B-Instruct-Q4_K_M.gguf。
该 checkpoint 含视觉组件。纯文本推理不计入视觉编码器或 projector。
上下文预算是每个序列缓存的 token 数（输入加上预留的生成长度）。
并发序列共用一份模型副本；权重不会按序列数再乘一遍。

计算器

正在加载已发布的目录快照…

先选择模型，再检查设备。

模型

显示历史模型

量化

设备类型

硬件

工作负载

上下文长度主要影响 KV Cache 内存。

高级设置

运行时

这次估算使用的引擎和 KV 缓存类型。

运行引擎KV Cache 精度循环 / 卷积状态精度包含理论估算（专家）筛选无匹配时允许替代

工作负载

开销场景，以及是否计入预填充工作区。

运行时开销情景计入更重的预填充工作区

拓扑

模型如何切到多张设备上。各设备的显存不会相加。

部署方式组内切分设备数量

副本数是高级部署选项。数量指节点或 GPU，不是副本。

副本组数每个副本的设备数

预算

系统保留和安全余量。数字框清空时保留上一次的值。

系统 / 显示预留

GiB（2^30 字节）

预算已经扣除系统占用额外安全余量

自定义每参数有效 bit 数显示单位

自定义模型

导入配置或手填结构。点导入之前不会去扫描仓库。

导入本地 config.json

仅在浏览器中解析，不会上传文件。

公开的 Hugging Face 仓库Revision

只允许 huggingface.co 上的 config.json，不使用 token，不读取私有仓库。

总参数量激活参数量层数查询头KV 头头维度

搜索或选择目录中的模型，查看本地大模型的显存需求。

搜索或选择目录中的模型，查看本地大模型的显存需求。