Qwen3-235B-A22B: requisitos de VRAM y memoria

Puntos de control concretos, con arquitectura y archivos de pesos con fuente. GGUF Q4_K_M (Qwen): 133,99 GiB–137,11 GiB a 8192 tokens, 1 secuencia, KV FP16, llama.cpp.

Este resultado es una estimación, no una traza medida.No verificadoPesos con archivo

Editor y procedencia

ProveedorQwen
Hugging FaceQwen/Qwen3-235B-A22B
Revision8efa61729e24bd65b1d152b5ab5409052aa80e65
Parámetros totales235.093.634.560
Parámetros activos22.000.000.000
Capas94
Cabezas de consulta64
Cabezas KV4 (gqa)
Dimensión de cabeza128
Contexto documentado40.960
Integridadcomplete · full

Este MoE declara 235.093.634.560 parámetros totales y 22.000.000.000 activos. El cómputo activo no es la residencia de pesos. La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact: 132,39 GiB (142.154.074.176 bytes)
Raw KV cache: 1,47 GiB (1.577.058.304 bytes)
Engine extras / workspace: 0,13 GiB–3,25 GiB
Total estimated demand: 133,99 GiB–137,11 GiB

Archivos contados

Cuantización	Archivos contados	Bytes	Motor	Evidencia
BF16 safetensors bf16 Calculadora: BF16 safetensors	118 fragmentos safetensors Bytes seleccionados en total: 470.187.269.120 (437,90 GiB / 470,19 GB) Primer fragmento: model-00001-of-00118.safetensors Último fragmento: model-00118-of-00118.safetensors Ver los 118 archivos de fragmentos `model-00001-of-00118.safetensors` `model-00002-of-00118.safetensors` `model-00003-of-00118.safetensors` `model-00004-of-00118.safetensors` `model-00005-of-00118.safetensors` `model-00006-of-00118.safetensors` `model-00007-of-00118.safetensors` `model-00008-of-00118.safetensors` `model-00009-of-00118.safetensors` `model-00010-of-00118.safetensors` `model-00011-of-00118.safetensors` `model-00012-of-00118.safetensors` `model-00013-of-00118.safetensors` `model-00014-of-00118.safetensors` `model-00015-of-00118.safetensors` `model-00016-of-00118.safetensors` `model-00017-of-00118.safetensors` `model-00018-of-00118.safetensors` `model-00019-of-00118.safetensors` `model-00020-of-00118.safetensors` `model-00021-of-00118.safetensors` `model-00022-of-00118.safetensors` `model-00023-of-00118.safetensors` `model-00024-of-00118.safetensors` `model-00025-of-00118.safetensors` `model-00026-of-00118.safetensors` `model-00027-of-00118.safetensors` `model-00028-of-00118.safetensors` `model-00029-of-00118.safetensors` `model-00030-of-00118.safetensors` `model-00031-of-00118.safetensors` `model-00032-of-00118.safetensors` `model-00033-of-00118.safetensors` `model-00034-of-00118.safetensors` `model-00035-of-00118.safetensors` `model-00036-of-00118.safetensors` `model-00037-of-00118.safetensors` `model-00038-of-00118.safetensors` `model-00039-of-00118.safetensors` `model-00040-of-00118.safetensors` `model-00041-of-00118.safetensors` `model-00042-of-00118.safetensors` `model-00043-of-00118.safetensors` `model-00044-of-00118.safetensors` `model-00045-of-00118.safetensors` `model-00046-of-00118.safetensors` `model-00047-of-00118.safetensors` `model-00048-of-00118.safetensors` `model-00049-of-00118.safetensors` `model-00050-of-00118.safetensors` `model-00051-of-00118.safetensors` `model-00052-of-00118.safetensors` `model-00053-of-00118.safetensors` `model-00054-of-00118.safetensors` `model-00055-of-00118.safetensors` `model-00056-of-00118.safetensors` `model-00057-of-00118.safetensors` `model-00058-of-00118.safetensors` `model-00059-of-00118.safetensors` `model-00060-of-00118.safetensors` `model-00061-of-00118.safetensors` `model-00062-of-00118.safetensors` `model-00063-of-00118.safetensors` `model-00064-of-00118.safetensors` `model-00065-of-00118.safetensors` `model-00066-of-00118.safetensors` `model-00067-of-00118.safetensors` `model-00068-of-00118.safetensors` `model-00069-of-00118.safetensors` `model-00070-of-00118.safetensors` `model-00071-of-00118.safetensors` `model-00072-of-00118.safetensors` `model-00073-of-00118.safetensors` `model-00074-of-00118.safetensors` `model-00075-of-00118.safetensors` `model-00076-of-00118.safetensors` `model-00077-of-00118.safetensors` `model-00078-of-00118.safetensors` `model-00079-of-00118.safetensors` `model-00080-of-00118.safetensors` `model-00081-of-00118.safetensors` `model-00082-of-00118.safetensors` `model-00083-of-00118.safetensors` `model-00084-of-00118.safetensors` `model-00085-of-00118.safetensors` `model-00086-of-00118.safetensors` `model-00087-of-00118.safetensors` `model-00088-of-00118.safetensors` `model-00089-of-00118.safetensors` `model-00090-of-00118.safetensors` `model-00091-of-00118.safetensors` `model-00092-of-00118.safetensors` `model-00093-of-00118.safetensors` `model-00094-of-00118.safetensors` `model-00095-of-00118.safetensors` `model-00096-of-00118.safetensors` `model-00097-of-00118.safetensors` `model-00098-of-00118.safetensors` `model-00099-of-00118.safetensors` `model-00100-of-00118.safetensors` `model-00101-of-00118.safetensors` `model-00102-of-00118.safetensors` `model-00103-of-00118.safetensors` `model-00104-of-00118.safetensors` `model-00105-of-00118.safetensors` `model-00106-of-00118.safetensors` `model-00107-of-00118.safetensors` `model-00108-of-00118.safetensors` `model-00109-of-00118.safetensors` `model-00110-of-00118.safetensors` `model-00111-of-00118.safetensors` `model-00112-of-00118.safetensors` `model-00113-of-00118.safetensors` `model-00114-of-00118.safetensors` `model-00115-of-00118.safetensors` `model-00116-of-00118.safetensors` `model-00117-of-00118.safetensors` `model-00118-of-00118.safetensors`	470.187.269.120 (437,90 GiB / 470,19 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q4_K_M (Qwen) gguf-q4_k_m Calculadora: GGUF Q4_K_M (Qwen)	5 fragmentos safetensors Bytes seleccionados en total: 142.154.074.176 (132,39 GiB / 142,15 GB) Primer fragmento: Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf Último fragmento: Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf Ver los 5 archivos de fragmentos `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00002-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00003-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00004-of-00005.gguf` `Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf`	142.154.074.176 (132,39 GiB / 142,15 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q5_K_M (Qwen) gguf-q5_k_m Calculadora: GGUF Q5_K_M (Qwen)	6 fragmentos safetensors Bytes seleccionados en total: 166.814.156.992 (155,36 GiB / 166,81 GB) Primer fragmento: Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00001-of-00006.gguf Último fragmento: Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00006-of-00006.gguf Ver los 6 archivos de fragmentos `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00001-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00002-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00003-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00004-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00005-of-00006.gguf` `Q5_K_M/Qwen3-235B-A22B-Q5_K_M-00006-of-00006.gguf`	166.814.156.992 (155,36 GiB / 166,81 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q6_K (Qwen) gguf-q6_k Calculadora: GGUF Q6_K (Qwen)	7 fragmentos safetensors Bytes seleccionados en total: 193.015.494.944 (179,76 GiB / 193,02 GB) Primer fragmento: Q6_K/Qwen3-235B-A22B-Q6_K-00001-of-00007.gguf Último fragmento: Q6_K/Qwen3-235B-A22B-Q6_K-00007-of-00007.gguf Ver los 7 archivos de fragmentos `Q6_K/Qwen3-235B-A22B-Q6_K-00001-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00002-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00003-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00004-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00005-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00006-of-00007.gguf` `Q6_K/Qwen3-235B-A22B-Q6_K-00007-of-00007.gguf`	193.015.494.944 (179,76 GiB / 193,02 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
GGUF Q8_0 (Qwen) gguf-q8_0 Calculadora: GGUF Q8_0 (Qwen)	9 fragmentos safetensors Bytes seleccionados en total: 249.940.105.792 (232,77 GiB / 249,94 GB) Primer fragmento: Q8_0/Qwen3-235B-A22B-Q8_0-00001-of-00009.gguf Último fragmento: Q8_0/Qwen3-235B-A22B-Q8_0-00009-of-00009.gguf Ver los 9 archivos de fragmentos `Q8_0/Qwen3-235B-A22B-Q8_0-00001-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00002-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00003-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00004-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00005-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00006-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00007-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00008-of-00009.gguf` `Q8_0/Qwen3-235B-A22B-Q8_0-00009-of-00009.gguf`	249.940.105.792 (232,77 GiB / 249,94 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	No hay archivo publicado	117.546.817.280 (Las filas teóricas no son artefactos descargables.)	—	theoretical

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Cuantización	2048 tokens	8192 tokens	32.768 tokens
BF16 safetensors	438,89 GiB–440,77 GiB	439,99 GiB–441,91 GiB	444,40 GiB–446,45 GiB
GGUF Q4_K_M (Qwen)	132,88 GiB–135,91 GiB	133,99 GiB–137,11 GiB	138,39 GiB–141,83 GiB
GGUF Q5_K_M (Qwen)	155,85 GiB–159,34 GiB	156,95 GiB–160,54 GiB	161,36 GiB–165,25 GiB
GGUF Q6_K (Qwen)	180,25 GiB–184,23 GiB	181,35 GiB–185,43 GiB	185,76 GiB–190,14 GiB
GGUF Q8_0 (Qwen)	233,27 GiB–238,30 GiB	234,37 GiB–239,50 GiB	238,77 GiB–244,22 GiB
INT4 theoretical Las filas teóricas no son artefactos descargables.	109,97 GiB–142,01 GiB	111,07 GiB–143,38 GiB	115,47 GiB–148,81 GiB

Caché KV (datos brutos)

El KV bruto de GQA/MHA es 2 × capas × kvHeads × headDim × tokens × secuencias × bytes por elemento. Esta página usa KV heads (4), no query heads (64).

8,192 tokens, 1 sequence, FP16: 1.577.058.304 bytes (1,4688 GiB)
32,768 tokens: 6.308.233.216 bytes (5,8750 GiB)

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Qwen3-235B-A22B model card
config.json — revision 8efa61729e24bd65b1d152b5ab5409052aa80e65
safetensors index — metadata.total_size=470187269120
Artifact repo Qwen/Qwen3-235B-A22B-GGUF

Hipótesis que afectan al resultado

El contexto pedido cabe en la ventana nativa de 40960 tokens.
La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Este MoE declara 235093634560 parámetros totales y 22000000000 activos. El cómputo activo no es la residencia de pesos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00001-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00002-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00003-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00004-of-00005.gguf, Q4_K_M/Qwen3-235B-A22B-Q4_K_M-00005-of-00005.gguf.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.

Calculadora

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Modelo

Mostrar modelos históricos

Cuantización

Tipo de dispositivo

Hardware

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados

Ejecución

Motor y tipo de caché KV de esta estimación.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto) Permitir un sustituto si el filtro no tiene coincidencia

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.