Qwen3-30B-A3B-Instruct-2507 Q4_K_M: VRAM necesaria 18,93 GiB

VRAM necesaria 18,93 GiB. Qwen3-30B-A3B-Instruct-2507 Q4_K_M a 8192 tokens es una estimación de 18,16 GiB–18,93 GiB para un LLM en local. Repositorio Qwen/Qwen3-30B-A3B-Instruct-2507. Archivo de 18.556.686.752 bytes. Sin GPU, esto es demanda, no si cabe.

Puntos de control concretos, con arquitectura y archivos de pesos con fuente. GGUF Q4_K_M (Unsloth): 18,16 GiB–18,93 GiB a 8192 tokens, 1 secuencia, KV FP16, llama.cpp.

Este resultado es una estimación, no una traza medida.No verificadoPesos con archivo

Editor y procedencia

Este MoE declara 30.532.122.624 parámetros totales y 3.300.000.000 activos. El cómputo activo no es la residencia de pesos. La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact
17,28 GiB (18.556.686.752 bytes)
Raw KV cache
0,75 GiB (805.306.368 bytes)
Engine extras / workspace
0,13 GiB–0,90 GiB
Total estimated demand
18,16 GiB–18,93 GiB

Archivos contados

CuantizaciónArchivos contadosBytesMotorEvidencia
BF16 safetensors
bf16
16 fragmentos safetensors
Bytes seleccionados en total: 61.064.245.248 (56,87 GiB / 61,06 GB)
Primer fragmento: model-00001-of-00016.safetensors
Último fragmento: model-00016-of-00016.safetensors
Ver los 16 archivos de fragmentos
  • model-00001-of-00016.safetensors
  • model-00002-of-00016.safetensors
  • model-00003-of-00016.safetensors
  • model-00004-of-00016.safetensors
  • model-00005-of-00016.safetensors
  • model-00006-of-00016.safetensors
  • model-00007-of-00016.safetensors
  • model-00008-of-00016.safetensors
  • model-00009-of-00016.safetensors
  • model-00010-of-00016.safetensors
  • model-00011-of-00016.safetensors
  • model-00012-of-00016.safetensors
  • model-00013-of-00016.safetensors
  • model-00014-of-00016.safetensors
  • model-00015-of-00016.safetensors
  • model-00016-of-00016.safetensors
61.064.245.248 (56,87 GiB / 61,06 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q4_K_M (Unsloth)
gguf-q4_k_m
Qwen3-30B-A3B-Instruct-2507-Q4_K_M.gguf18.556.686.752 (17,28 GiB / 18,56 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (Unsloth)
gguf-q5_k_m
Qwen3-30B-A3B-Instruct-2507-Q5_K_M.gguf21.725.581.728 (20,23 GiB / 21,73 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (Unsloth)
gguf-q6_k
Qwen3-30B-A3B-Instruct-2507-Q6_K.gguf25.092.532.640 (23,37 GiB / 25,09 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Unsloth)
gguf-q8_0
Qwen3-30B-A3B-Instruct-2507-Q8_0.gguf32.483.932.576 (30,25 GiB / 32,48 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNo hay archivo publicado15.266.061.312 (Las filas teóricas no son artefactos descargables.)—theoretical

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Cuantización2048 tokens8192 tokens32.768 tokens
BF16 safetensors57,68 GiB–59,56 GiB58,25 GiB–60,14 GiB60,50 GiB–62,46 GiB
GGUF Q4_K_M (Unsloth)17,59 GiB–18,32 GiB18,16 GiB–18,93 GiB20,41 GiB–21,34 GiB
GGUF Q5_K_M (Unsloth)20,55 GiB–21,33 GiB21,11 GiB–21,94 GiB23,36 GiB–24,35 GiB
GGUF Q6_K (Unsloth)23,68 GiB–24,53 GiB24,24 GiB–25,14 GiB26,49 GiB–27,55 GiB
GGUF Q8_0 (Unsloth)30,57 GiB–31,55 GiB31,13 GiB–32,16 GiB33,38 GiB–34,57 GiB
INT4 theoretical
Las filas teóricas no son artefactos descargables.
14,53 GiB–19,11 GiB15,09 GiB–19,81 GiB17,34 GiB–22,58 GiB

Caché KV (datos brutos)

El KV bruto de GQA/MHA es 2 × capas × kvHeads × headDim × tokens × secuencias × bytes por elemento. Esta página usa KV heads (4), no query heads (32).

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Hipótesis que afectan al resultado

Calculadora

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Cuantización

Tipo de dispositivo

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.