Qwen3-235B-A22B 显存与内存需求

具体的模型版本，带来源的结构和权重文件信息。 GGUF Q4_K_M (Qwen)：8,192 个 token 下约 133.99 GiB–137.11 GiB，1 条序列，FP16 KV，llama.cpp。

当前结果是估算，不是对应环境的实测。未核实有文件依据的权重

发布方与出处

提供方Qwen
Hugging FaceQwen/Qwen3-235B-A22B
Revision8efa61729e24bd65b1d152b5ab5409052aa80e65
总参数量235,093,634,560
激活参数量22,000,000,000
层数94
查询头64
KV 头4 (gqa)
头维度128
已记录的上下文能力40,960
完整度complete · full

该 MoE 记录总参数 235,093,634,560、激活参数 22,000,000,000。激活参数的计算量不会当成权重驻留内存。完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。

这次估算里的内存分层

文件字节、原始 KV、引擎额外占用和总需求是分开的。这不是一次运行时轨迹。

Weight artifact: 132.39 GiB (142,154,074,176 bytes)
Raw KV cache: 1.47 GiB (1,577,058,304 bytes)
Engine extras / workspace: 0.13 GiB–3.25 GiB
Total estimated demand: 133.99 GiB–137.11 GiB

计入的文件

量化	计入的文件	字节	运行引擎	证据
BF16 safetensors bf16 计算器: BF16 safetensors	118 个 safetensors 分片选定字节合计：470,187,269,120 (437.90 GiB / 470.19 GB) 第一个分片：model-00001-of-00118.safetensors 最后一个分片：model-00118-of-00118.safetensors 查看全部 118 个分片文件 `model-00001-of-00118.safetensors` `model-00002-of-00118.safetensors` `model-00003-of-00118.safetensors` `model-00004-of-00118.safetensors` `model-00005-of-00118.safetensors` `model-00006-of-00118.safetensors` `model-00007-of-00118.safetensors` `model-00008-of-00118.safetensors` `model-00009-of-00118.safetensors` `model-00010-of-00118.safetensors` `model-00011-of-00118.safetensors` `model-00012-of-00118.safetensors` `model-00013-of-00118.safetensors` `model-00014-of-00118.safetensors` `model-00015-of-00118.safetensors` `model-00016-of-00118.safetensors` `model-00017-of-00118.safetensors` `model-00018-of-00118.safetensors` `model-00019-of-00118.safetensors` `model-00020-of-00118.safetensors` `model-00021-of-00118.safetensors` `model-00022-of-00118.safetensors` `model-00023-of-00118.safetensors` `model-00024-of-00118.safetensors` `model-00025-of-00118.safetensors` `model-00026-of-00118.safetensors` `model-00027-of-00118.safetensors` `model-00028-of-00118.safetensors` `model-00029-of-00118.safetensors` `model-00030-of-00118.safetensors` `model-00031-of-00118.safetensors` `model-00032-of-00118.safetensors` `model-00033-of-00118.safetensors` `model-00034-of-00118.safetensors` `model-00035-of-00118.safetensors` `model-00036-of-00118.safetensors` `model-00037-of-00118.safetensors` `model-00038-of-00118.safetensors` `model-00039-of-00118.safetensors` `model-00040-of-00118.safetensors` `model-00041-of-00118.safetensors` `model-00042-of-00118.safetensors` `model-00043-of-00118.safetensors` `model-00044-of-00118.safetensors` `model-00045-of-00118.safetensors` `model-00046-of-00118.safetensors` `model-00047-of-00118.safetensors` `model-00048-of-00118.safetensors` `model-00049-of-00118.safetensors` `model-00050-of-00118.safetensors` `model-00051-of-00118.safetensors` `model-00052-of-00118.safetensors` `model-00053-of-00118.safetensors` `model-00054-of-00118.safetensors` `model-00055-of-00118.safetensors` `model-00056-of-00118.safetensors` `model-00057-of-00118.safetensors` `model-00058-of-00118.safetensors` `model-00059-of-00118.safetensors` `model-00060-of-00118.safetensors` `model-00061-of-00118.safetensors` `model-00062-of-00118.safetensors` `model-00063-of-00118.safetensors` `model-00064-of-00118.safetensors` `model-00065-of-00118.safetensors` `model-00066-of-00118.safetensors` `model-00067-of-00118.safetensors` `model-00068-of-00118.safetensors` `model-00069-of-00118.safetensors` `model-00070-of-00118.safetensors` `model-00071-of-00118.safetensors` `model-00072-of-00118.safetensors` `model-00073-of-00118.safetensors` `model-00074-of-00118.safetensors` `model-00075-of-00118.safetensors` `model-00076-of-00118.safetensors` `model-00077-of-00118.safetensors` `model-00078-of-00118.safetensors` `model-00079-of-00118.safetensors` `model-00080-of-00118.safetensors` `model-00081-of-00118.safetensors` `model-00082-of-00118.safetensors` `model-00083-of-00118.safetensors` `model-00084-of-00118.safetensors` `model-00085-of-00118.safetensors` `model-00086-of-00118.safetensors` `model-00087-of-00118.safetensors` `model-00088-of-00118.safetensors` `model-00089-of-00118.safetensors` `model-00090-of-00118.safetensors` `model-00091-of-00118.safetensors` `model-00092-of-00118.safetensors` `model-00093-of-00118.safetensors` `model-00094-of-00118.safetensors` `model-00095-of-00118.safetensors` `model-00096-of-00118.safetensors` `model-00097-of-00118.safetensors` `model-00098-of-00118.safetensors` `model-00099-of-00118.safetensors` `model-00100-of-00118.safetensors` `model-00101-of-00118.safetensors` `model-00102-of-00118.safetensors` `model-00103-of-00118.safetensors` `model-00104-of-00118.safetensors` `model-00105-of-00118.safetensors` `model-00106-of-00118.safetensors` `model-00107-of-00118.safetensors` `model-00108-of-00118.safetensors` `model-00109-of-00118.safetensors` `model-00110-of-00118.safetensors` `model-00111-of-00118.safetensors` `model-00112-of-00118.safetensors` `model-00113-of-00118.safetensors` `model-00114-of-00118.safetensors` `model-00115-of-00118.safetensors` `model-00116-of-00118.safetensors` `model-00117-of-00118.safetensors` `model-00118-of-00118.safetensors`	470,187,269,120 (437.90 GiB / 470.19 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Qwen) gguf-q4_k_m 计算器: GGUF Q4_K_M (Qwen)	5 个 safetensors 分片选定字节合计：142,154,074,176 (132.39 GiB / 142.15 GB) 第一个分片：Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf 最后一个分片：Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf 查看全部 5 个分片文件 `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00002-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00003-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00004-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf`	142,154,074,176 (132.39 GiB / 142.15 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Qwen) gguf-q5_k_m 计算器: GGUF Q5_K_M (Qwen)	6 个 safetensors 分片选定字节合计：166,814,156,992 (155.36 GiB / 166.81 GB) 第一个分片：Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00001-of-00006.gguf 最后一个分片：Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00006-of-00006.gguf 查看全部 6 个分片文件 `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00001-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00002-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00003-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00004-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00005-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00006-of-00006.gguf`	166,814,156,992 (155.36 GiB / 166.81 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Qwen) gguf-q6_k 计算器: GGUF Q6_K (Qwen)	7 个 safetensors 分片选定字节合计：193,015,494,944 (179.76 GiB / 193.02 GB) 第一个分片：Q6_K/Qwen3-235B-A22B-Q6_K-00001-of-00007.gguf 最后一个分片：Q6_K/Qwen3-235B-A22B-Q6_K-00007-of-00007.gguf 查看全部 7 个分片文件 `Q6_K/Qwen3-235B-A22B-Q6_K-00001-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00002-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00003-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00004-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00005-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00006-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00007-of-00007.gguf`	193,015,494,944 (179.76 GiB / 193.02 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Qwen) gguf-q8_0 计算器: GGUF Q8_0 (Qwen)	9 个 safetensors 分片选定字节合计：249,940,105,792 (232.77 GiB / 249.94 GB) 第一个分片：Q8_0/Qwen3-235B-A22B-Q8_0-00001-of-00009.gguf 最后一个分片：Q8_0/Qwen3-235B-A22B-Q8_0-00009-of-00009.gguf 查看全部 9 个分片文件 `Q8_0/Qwen3-235B-A22B-Q8_0-00001-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00002-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00003-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00004-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00005-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00006-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00007-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00008-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00009-of-00009.gguf`	249,940,105,792 (232.77 GiB / 249.94 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	没有已发布的文件	117,546,817,280 (理论行不是可下载的发布文件。)	—	theoretical

按量化与上下文查看显存

并发序列数为 1。KV 默认 FP16。区间包含所列引擎已记录的运行时额外占用。这些数字与交互式计算器使用同一套核心。

量化	2,048 tokens	8,192 tokens	32,768 tokens
BF16 safetensors	438.89 GiB–440.77 GiB	439.99 GiB–441.91 GiB	444.40 GiB–446.45 GiB
GGUF Q4_K_M (Qwen)	132.88 GiB–135.91 GiB	133.99 GiB–137.11 GiB	138.39 GiB–141.83 GiB
GGUF Q5_K_M (Qwen)	155.85 GiB–159.34 GiB	156.95 GiB–160.54 GiB	161.36 GiB–165.25 GiB
GGUF Q6_K (Qwen)	180.25 GiB–184.23 GiB	181.35 GiB–185.43 GiB	185.76 GiB–190.14 GiB
GGUF Q8_0 (Qwen)	233.27 GiB–238.30 GiB	234.37 GiB–239.50 GiB	238.77 GiB–244.22 GiB
INT4 theoretical 理论行不是可下载的发布文件。	109.97 GiB–142.01 GiB	111.07 GiB–143.38 GiB	115.47 GiB–148.81 GiB

KV Cache（原始数据）

标准 GQA/MHA 的原始 KV 为 2 × 层数 × kvHeads × headDim × token 数 × 序列数 × 每元素字节。本页使用 KV heads（4），不是 query heads（64）。

8,192 tokens, 1 sequence, FP16: 1,577,058,304 bytes (1.4688 GiB)
32,768 tokens: 6,308,233,216 bytes (5.8750 GiB)

用这个模型打开计算器

数据来源

来源
来源 — revision 8efa61729e24bd65b1d152b5ab5409052aa80e65
来源 — metadata.total_size=470187269120
来源

影响结论的假设

请求的上下文在记录的原生窗口 40960 token 以内。
完整驻留权重估算使用总参数量，包括未激活的 MoE 专家。
该 MoE 记录总参数 235093634560、激活参数 22000000000。激活参数的计算量不会当成权重驻留内存。
权重字节只计入选定的权重文件，不会把仓库里所有量化版本加在一起。
下载文件大小不是峰值 GPU 内存。运行时布局、分配器填充和 KV 是额外占用。
计入的文件：Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00002-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00003-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00004-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf。
上下文预算是每个序列缓存的 token 数（输入加上预留的生成长度）。
并发序列共用一份模型副本；权重不会按序列数再乘一遍。

计算器

正在加载已发布的目录快照…

先选择模型，再检查设备。

模型

显示历史模型

量化

设备类型

硬件

工作负载

上下文长度主要影响 KV Cache 内存。

高级设置

运行时

这次估算使用的引擎和 KV 缓存类型。

运行引擎KV Cache 精度循环 / 卷积状态精度包含理论估算（专家）筛选无匹配时允许替代

工作负载

开销场景，以及是否计入预填充工作区。

运行时开销情景计入更重的预填充工作区

拓扑

模型如何切到多张设备上。各设备的显存不会相加。

部署方式组内切分设备数量

副本数是高级部署选项。数量指节点或 GPU，不是副本。

副本组数每个副本的设备数

预算

系统保留和安全余量。数字框清空时保留上一次的值。

系统 / 显示预留

GiB（2^30 字节）

预算已经扣除系统占用额外安全余量

自定义每参数有效 bit 数显示单位

自定义模型

导入配置或手填结构。点导入之前不会去扫描仓库。

导入本地 config.json

仅在浏览器中解析，不会上传文件。

公开的 Hugging Face 仓库Revision

只允许 huggingface.co 上的 config.json，不使用 token，不读取私有仓库。

总参数量激活参数量层数查询头KV 头头维度

搜索或选择目录中的模型，查看本地大模型的显存需求。

搜索或选择目录中的模型，查看本地大模型的显存需求。

Qwen3-235B-A22B 显存与内存需求

发布方与出处

这次估算里的内存分层

计入的文件

按量化与上下文查看显存

KV Cache（原始数据）

相关页面

数据来源

影响结论的假设

计算器