Qwen3-235B-A22B: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (Qwen): 133,99 GiB–137,11 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Publicador e procedência

FornecedorQwen
Hugging FaceQwen/Qwen3-235B-A22B
Revision8efa61729e24bd65b1d152b5ab5409052aa80e65
Parâmetros totais235.093.634.560
Parâmetros ativos22.000.000.000
Camadas94
Heads de consulta64
Heads KV4 (gqa)
Dimensão do head128
Contexto documentado40.960
Completudecomplete · full

Este MoE tem 235.093.634.560 parâmetros totais e 22.000.000.000 ativos. O compute ativo não é a residência dos pesos. A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact: 132,39 GiB (142.154.074.176 bytes)
Raw KV cache: 1,47 GiB (1.577.058.304 bytes)
Engine extras / workspace: 0,13 GiB–3,25 GiB
Total estimated demand: 133,99 GiB–137,11 GiB

Arquivos contados

Quantização	Arquivos contados	Bytes	Motor de execução	Evidência
BF16 safetensors bf16 Calculadora: BF16 safetensors	118 shards safetensors Total de bytes selecionados: 470.187.269.120 (437,90 GiB / 470,19 GB) Primeiro shard: model-00001-of-00118.safetensors Último shard: model-00118-of-00118.safetensors Ver todos os 118 arquivos de shard `model-00001-of-00118.safetensors` `model-00002-of-00118.safetensors` `model-00003-of-00118.safetensors` `model-00004-of-00118.safetensors` `model-00005-of-00118.safetensors` `model-00006-of-00118.safetensors` `model-00007-of-00118.safetensors` `model-00008-of-00118.safetensors` `model-00009-of-00118.safetensors` `model-00010-of-00118.safetensors` `model-00011-of-00118.safetensors` `model-00012-of-00118.safetensors` `model-00013-of-00118.safetensors` `model-00014-of-00118.safetensors` `model-00015-of-00118.safetensors` `model-00016-of-00118.safetensors` `model-00017-of-00118.safetensors` `model-00018-of-00118.safetensors` `model-00019-of-00118.safetensors` `model-00020-of-00118.safetensors` `model-00021-of-00118.safetensors` `model-00022-of-00118.safetensors` `model-00023-of-00118.safetensors` `model-00024-of-00118.safetensors` `model-00025-of-00118.safetensors` `model-00026-of-00118.safetensors` `model-00027-of-00118.safetensors` `model-00028-of-00118.safetensors` `model-00029-of-00118.safetensors` `model-00030-of-00118.safetensors` `model-00031-of-00118.safetensors` `model-00032-of-00118.safetensors` `model-00033-of-00118.safetensors` `model-00034-of-00118.safetensors` `model-00035-of-00118.safetensors` `model-00036-of-00118.safetensors` `model-00037-of-00118.safetensors` `model-00038-of-00118.safetensors` `model-00039-of-00118.safetensors` `model-00040-of-00118.safetensors` `model-00041-of-00118.safetensors` `model-00042-of-00118.safetensors` `model-00043-of-00118.safetensors` `model-00044-of-00118.safetensors` `model-00045-of-00118.safetensors` `model-00046-of-00118.safetensors` `model-00047-of-00118.safetensors` `model-00048-of-00118.safetensors` `model-00049-of-00118.safetensors` `model-00050-of-00118.safetensors` `model-00051-of-00118.safetensors` `model-00052-of-00118.safetensors` `model-00053-of-00118.safetensors` `model-00054-of-00118.safetensors` `model-00055-of-00118.safetensors` `model-00056-of-00118.safetensors` `model-00057-of-00118.safetensors` `model-00058-of-00118.safetensors` `model-00059-of-00118.safetensors` `model-00060-of-00118.safetensors` `model-00061-of-00118.safetensors` `model-00062-of-00118.safetensors` `model-00063-of-00118.safetensors` `model-00064-of-00118.safetensors` `model-00065-of-00118.safetensors` `model-00066-of-00118.safetensors` `model-00067-of-00118.safetensors` `model-00068-of-00118.safetensors` `model-00069-of-00118.safetensors` `model-00070-of-00118.safetensors` `model-00071-of-00118.safetensors` `model-00072-of-00118.safetensors` `model-00073-of-00118.safetensors` `model-00074-of-00118.safetensors` `model-00075-of-00118.safetensors` `model-00076-of-00118.safetensors` `model-00077-of-00118.safetensors` `model-00078-of-00118.safetensors` `model-00079-of-00118.safetensors` `model-00080-of-00118.safetensors` `model-00081-of-00118.safetensors` `model-00082-of-00118.safetensors` `model-00083-of-00118.safetensors` `model-00084-of-00118.safetensors` `model-00085-of-00118.safetensors` `model-00086-of-00118.safetensors` `model-00087-of-00118.safetensors` `model-00088-of-00118.safetensors` `model-00089-of-00118.safetensors` `model-00090-of-00118.safetensors` `model-00091-of-00118.safetensors` `model-00092-of-00118.safetensors` `model-00093-of-00118.safetensors` `model-00094-of-00118.safetensors` `model-00095-of-00118.safetensors` `model-00096-of-00118.safetensors` `model-00097-of-00118.safetensors` `model-00098-of-00118.safetensors` `model-00099-of-00118.safetensors` `model-00100-of-00118.safetensors` `model-00101-of-00118.safetensors` `model-00102-of-00118.safetensors` `model-00103-of-00118.safetensors` `model-00104-of-00118.safetensors` `model-00105-of-00118.safetensors` `model-00106-of-00118.safetensors` `model-00107-of-00118.safetensors` `model-00108-of-00118.safetensors` `model-00109-of-00118.safetensors` `model-00110-of-00118.safetensors` `model-00111-of-00118.safetensors` `model-00112-of-00118.safetensors` `model-00113-of-00118.safetensors` `model-00114-of-00118.safetensors` `model-00115-of-00118.safetensors` `model-00116-of-00118.safetensors` `model-00117-of-00118.safetensors` `model-00118-of-00118.safetensors`	470.187.269.120 (437,90 GiB / 470,19 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Qwen) gguf-q4_k_m Calculadora: GGUF Q4_K_M (Qwen)	5 shards safetensors Total de bytes selecionados: 142.154.074.176 (132,39 GiB / 142,15 GB) Primeiro shard: Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf Último shard: Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf Ver todos os 5 arquivos de shard `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00002-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00003-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00004-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf`	142.154.074.176 (132,39 GiB / 142,15 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Qwen) gguf-q5_k_m Calculadora: GGUF Q5_K_M (Qwen)	6 shards safetensors Total de bytes selecionados: 166.814.156.992 (155,36 GiB / 166,81 GB) Primeiro shard: Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00001-of-00006.gguf Último shard: Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00006-of-00006.gguf Ver todos os 6 arquivos de shard `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00001-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00002-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00003-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00004-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00005-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00006-of-00006.gguf`	166.814.156.992 (155,36 GiB / 166,81 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Qwen) gguf-q6_k Calculadora: GGUF Q6_K (Qwen)	7 shards safetensors Total de bytes selecionados: 193.015.494.944 (179,76 GiB / 193,02 GB) Primeiro shard: Q6_K/Qwen3-235B-A22B-Q6_K-00001-of-00007.gguf Último shard: Q6_K/Qwen3-235B-A22B-Q6_K-00007-of-00007.gguf Ver todos os 7 arquivos de shard `Q6_K/Qwen3-235B-A22B-Q6_K-00001-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00002-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00003-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00004-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00005-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00006-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00007-of-00007.gguf`	193.015.494.944 (179,76 GiB / 193,02 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Qwen) gguf-q8_0 Calculadora: GGUF Q8_0 (Qwen)	9 shards safetensors Total de bytes selecionados: 249.940.105.792 (232,77 GiB / 249,94 GB) Primeiro shard: Q8_0/Qwen3-235B-A22B-Q8_0-00001-of-00009.gguf Último shard: Q8_0/Qwen3-235B-A22B-Q8_0-00009-of-00009.gguf Ver todos os 9 arquivos de shard `Q8_0/Qwen3-235B-A22B-Q8_0-00001-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00002-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00003-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00004-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00005-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00006-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00007-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00008-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00009-of-00009.gguf`	249.940.105.792 (232,77 GiB / 249,94 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	Nenhum arquivo publicado	117.546.817.280 (Linhas teóricas não são artefactos descarregáveis.)	—	theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização	2.048 tokens	8.192 tokens	32.768 tokens
BF16 safetensors	438,89 GiB–440,77 GiB	439,99 GiB–441,91 GiB	444,40 GiB–446,45 GiB
GGUF Q4_K_M (Qwen)	132,88 GiB–135,91 GiB	133,99 GiB–137,11 GiB	138,39 GiB–141,83 GiB
GGUF Q5_K_M (Qwen)	155,85 GiB–159,34 GiB	156,95 GiB–160,54 GiB	161,36 GiB–165,25 GiB
GGUF Q6_K (Qwen)	180,25 GiB–184,23 GiB	181,35 GiB–185,43 GiB	185,76 GiB–190,14 GiB
GGUF Q8_0 (Qwen)	233,27 GiB–238,30 GiB	234,37 GiB–239,50 GiB	238,77 GiB–244,22 GiB
INT4 theoretical Linhas teóricas não são artefactos descarregáveis.	109,97 GiB–142,01 GiB	111,07 GiB–143,38 GiB	115,47 GiB–148,81 GiB

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (4), não query heads (64).

8,192 tokens, 1 sequence, FP16: 1.577.058.304 bytes (1,4688 GiB)
32,768 tokens: 6.308.233.216 bytes (5,8750 GiB)

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Qwen3-235B-A22B model card
config.json — revision 8efa61729e24bd65b1d152b5ab5409052aa80e65
safetensors index — metadata.total_size=470187269120
Artifact repo Qwen/Qwen3-235B-A22B-GGUF

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 40960 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Este MoE tem 235093634560 parâmetros totais e 22000000000 ativos. O compute ativo não é a residência dos pesos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00002-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00003-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00004-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.