Qwen3.8-27B: VRAM necesaria 19,74 GiB

VRAM necesaria 16,43 GiB–19,74 GiB. Qwen3.8-27B Q4_K_M a 8192 tokens. Sin GPU, esto es demanda de un LLM en local, no si cabe. Estimación aproximada

Puntos de control concretos, con arquitectura y archivos de pesos con fuente. GGUF Q4_K_M (mradermacher): 16,43 GiB–19,74 GiB a 8192 tokens, 1 secuencia, KV FP16, llama.cpp.

Este resultado es una estimación, no una traza medida.No verificadoPesos con archivo1 configuraciones conocidas

Configuraciones conocidas que funcionan

1 configuraciones conocidas

Despliegues probados por la comunidad y los mantenedores en hardware real, con contexto, cuantización y runtime verificados.

Qwen3.8-27B
1× GeForce RTX 5090 32GB (desktop)
Medido por el mantenedor original
Cuantización:NVFP4 safetensors(4 bpw)
Motor:vLLM
Probado:
  • ✓ generación
  • ✓ 262,144 contexto
  • ✓ llamada a herramientas
  • ✓ decodificación especulativa
Medido:160 tok/s· 1 flujo

Despliegue probado. El texto está en inglés.

Usar esta configuraciónInicio rápido (inglés)Fuente ↗

Dónde corre

Editor y procedencia

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact
15,66 GiB (16.810.714.848 bytes)
Raw KV cache
0,50 GiB (536.870.912 bytes)
Engine extras / workspace
0,27 GiB–3,58 GiB
Total estimated demand
16,43 GiB–19,74 GiB

Archivos contados

CuantizaciónArchivos contadosBytesMotorEvidencia
BF16 safetensors
bf16
18 fragmentos safetensors
Bytes seleccionados en total: 55.562.855.904 (51,75 GiB / 55,56 GB)
Primer fragmento: model-00001-of-00018.safetensors
Último fragmento: model-00018-of-00018.safetensors
Ver los 18 archivos de fragmentos
  • model-00001-of-00018.safetensors
  • model-00002-of-00018.safetensors
  • model-00003-of-00018.safetensors
  • model-00004-of-00018.safetensors
  • model-00005-of-00018.safetensors
  • model-00006-of-00018.safetensors
  • model-00007-of-00018.safetensors
  • model-00008-of-00018.safetensors
  • model-00009-of-00018.safetensors
  • model-00010-of-00018.safetensors
  • model-00011-of-00018.safetensors
  • model-00012-of-00018.safetensors
  • model-00013-of-00018.safetensors
  • model-00014-of-00018.safetensors
  • model-00015-of-00018.safetensors
  • model-00016-of-00018.safetensors
  • model-00017-of-00018.safetensors
  • model-00018-of-00018.safetensors
55.562.855.904 (51,75 GiB / 55,56 GB)vllm, sglang, unspecifiedfile-metadata
GGUF UD-Q4_K_M (Unsloth)
gguf-ud-q4_k_m
Qwen3.8-27B-UD-Q4_K_M.gguf16.464.440.224 (15,33 GiB / 16,46 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Unsloth)
gguf-q8_0
Qwen3.8-27B-Q8_0.gguf29.047.086.048 (27,05 GiB / 29,05 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_0 (Unsloth)
gguf-q4_0
Qwen3.8-27B-Q4_0.gguf16.056.478.688 (14,95 GiB / 16,06 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q5_K_M (Unsloth)
gguf-ud-q5_k_m
Qwen3.8-27B-UD-Q5_K_M.gguf19.771.509.664 (18,41 GiB / 19,77 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q8_K_XL (Unsloth)
gguf-ud-q8_k_xl
Qwen3.8-27B-UD-Q8_K_XL.gguf31.457.991.680 (29,30 GiB / 31,46 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q6_K_XL (Unsloth)
gguf-ud-q6_k_xl
Qwen3.8-27B-UD-Q6_K_XL.gguf25.299.061.664 (23,56 GiB / 25,30 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q4_K_XL (Unsloth)
gguf-ud-q4_k_xl
Qwen3.8-27B-UD-Q4_K_XL.gguf17.559.178.144 (16,35 GiB / 17,56 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF BF16 (Unsloth)
gguf-bf16
BF16/Qwen3.8-27B-BF16-00001-of-00002.gguf, BF16/Qwen3.8-27B-BF16-00002-of-00002.gguf54.657.735.616 (50,90 GiB / 54,66 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_1 (Unsloth)
gguf-q4_1
Qwen3.8-27B-Q4_1.gguf17.540.705.248 (16,34 GiB / 17,54 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ1_M (Unsloth)
gguf-ud-iq1_m
Qwen3.8-27B-UD-IQ1_M.gguf6.729.166.848 (6,27 GiB / 6,73 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ1_S (Unsloth)
gguf-ud-iq1_s
Qwen3.8-27B-UD-IQ1_S.gguf6.192.222.208 (5,77 GiB / 6,19 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ2_S (Unsloth)
gguf-ud-iq2_s
Qwen3.8-27B-UD-IQ2_S.gguf8.371.970.048 (7,80 GiB / 8,37 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ2_XXS (Unsloth)
gguf-ud-iq2_xxs
Qwen3.8-27B-UD-IQ2_XXS.gguf7.266.070.528 (6,77 GiB / 7,27 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ3_S (Unsloth)
gguf-ud-iq3_s
Qwen3.8-27B-UD-IQ3_S.gguf12.040.883.104 (11,21 GiB / 12,04 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ3_XXS (Unsloth)
gguf-ud-iq3_xxs
Qwen3.8-27B-UD-IQ3_XXS.gguf10.934.860.704 (10,18 GiB / 10,93 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ4_XS (Unsloth)
gguf-ud-iq4_xs
Qwen3.8-27B-UD-IQ4_XS.gguf14.252.845.984 (13,27 GiB / 14,25 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_K_M (mradermacher)
gguf-q4_k_m
Qwen3.8-27B.Q4_K_M.gguf16.810.714.848 (15,66 GiB / 16,81 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (mradermacher)
gguf-q5_k_m
Qwen3.8-27B.Q5_K_M.gguf19.535.701.728 (18,19 GiB / 19,54 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (mradermacher)
gguf-q6_k
Qwen3.8-27B.Q6_K.gguf22.431.000.288 (20,89 GiB / 22,43 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (mradermacher)
gguf-q8_0-mradermacher
Qwen3.8-27B.Q8_0.gguf29.047.084.768 (27,05 GiB / 29,05 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF IQ4_XS (mradermacher)
gguf-iq4_xs
Qwen3.8-27B.IQ4_XS.gguf15.420.450.528 (14,36 GiB / 15,42 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_K_S (mradermacher)
gguf-q4_k_s
Qwen3.8-27B.Q4_K_S.gguf15.825.299.168 (14,74 GiB / 15,83 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_S (mradermacher)
gguf-q5_k_s
Qwen3.8-27B.Q5_K_S.gguf18.971.682.528 (17,67 GiB / 18,97 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_M (mradermacher)
gguf-q3_k_m
Qwen3.8-27B.Q3_K_M.gguf13.500.737.248 (12,57 GiB / 13,50 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q2_K (mradermacher)
gguf-q2_k
Qwen3.8-27B.Q2_K.gguf10.864.592.608 (10,12 GiB / 10,86 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_L (mradermacher)
gguf-q3_k_l
Qwen3.8-27B.Q3_K_L.gguf14.559.799.008 (13,56 GiB / 14,56 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_S (mradermacher)
gguf-q3_k_s
Qwen3.8-27B.Q3_K_S.gguf12.256.536.288 (11,41 GiB / 12,26 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNo hay archivo publicado13.890.713.976 (Las filas teóricas no son artefactos descargables.)—theoretical

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Cuantización2048 tokens8192 tokens32.768 tokens
BF16 safetensors52,64 GiB–62,71 GiB53,02 GiB–63,15 GiB54,52 GiB–64,93 GiB
GGUF UD-Q4_K_M (Unsloth)15,73 GiB–18,88 GiB16,11 GiB–19,36 GiB17,61 GiB–21,20 GiB
GGUF Q8_0 (Unsloth)27,45 GiB–32,63 GiB27,83 GiB–33,10 GiB29,33 GiB–34,95 GiB
GGUF Q4_0 (Unsloth)15,35 GiB–18,44 GiB15,73 GiB–18,91 GiB17,23 GiB–20,76 GiB
GGUF UD-Q5_K_M (Unsloth)18,81 GiB–22,49 GiB19,19 GiB–22,97 GiB20,69 GiB–24,82 GiB
GGUF UD-Q8_K_XL (Unsloth)29,70 GiB–35,26 GiB30,07 GiB–35,74 GiB31,57 GiB–37,58 GiB
GGUF UD-Q6_K_XL (Unsloth)23,96 GiB–28,53 GiB24,33 GiB–29,01 GiB25,83 GiB–30,86 GiB
GGUF UD-Q4_K_XL (Unsloth)16,75 GiB–20,08 GiB17,13 GiB–20,55 GiB18,63 GiB–22,40 GiB
GGUF BF16 (Unsloth)51,30 GiB–60,61 GiB51,68 GiB–61,08 GiB53,18 GiB–62,93 GiB
GGUF Q4_1 (Unsloth)16,73 GiB–20,06 GiB17,11 GiB–20,53 GiB18,61 GiB–22,38 GiB
GGUF UD-IQ1_M (Unsloth)6,66 GiB–8,25 GiB7,04 GiB–8,72 GiB8,54 GiB–10,57 GiB
GGUF UD-IQ1_S (Unsloth)6,16 GiB–7,66 GiB6,54 GiB–8,14 GiB8,04 GiB–9,98 GiB
GGUF UD-IQ2_S (Unsloth)8,19 GiB–10,04 GiB8,57 GiB–10,52 GiB10,07 GiB–12,36 GiB
GGUF UD-IQ2_XXS (Unsloth)7,17 GiB–8,83 GiB7,54 GiB–9,31 GiB9,04 GiB–11,16 GiB
GGUF UD-IQ3_S (Unsloth)11,61 GiB–14,05 GiB11,99 GiB–14,53 GiB13,49 GiB–16,37 GiB
GGUF UD-IQ3_XXS (Unsloth)10,58 GiB–12,84 GiB10,96 GiB–13,32 GiB12,46 GiB–15,16 GiB
GGUF UD-IQ4_XS (Unsloth)13,67 GiB–16,47 GiB14,05 GiB–16,94 GiB15,55 GiB–18,79 GiB
GGUF Q4_K_M (mradermacher)16,05 GiB–19,26 GiB16,43 GiB–19,74 GiB17,93 GiB–21,58 GiB
GGUF Q5_K_M (mradermacher)18,59 GiB–22,24 GiB18,97 GiB–22,71 GiB20,47 GiB–24,56 GiB
GGUF Q6_K (mradermacher)21,29 GiB–25,40 GiB21,66 GiB–25,88 GiB23,16 GiB–27,72 GiB
GGUF Q8_0 (mradermacher)27,45 GiB–32,63 GiB27,83 GiB–33,10 GiB29,33 GiB–34,95 GiB
GGUF IQ4_XS (mradermacher)14,76 GiB–17,74 GiB15,13 GiB–18,22 GiB16,63 GiB–20,06 GiB
GGUF Q4_K_S (mradermacher)15,14 GiB–18,18 GiB15,51 GiB–18,66 GiB17,01 GiB–20,51 GiB
GGUF Q5_K_S (mradermacher)18,07 GiB–21,62 GiB18,44 GiB–22,10 GiB19,94 GiB–23,94 GiB
GGUF Q3_K_M (mradermacher)12,97 GiB–15,64 GiB13,35 GiB–16,12 GiB14,85 GiB–17,97 GiB
GGUF Q2_K (mradermacher)10,52 GiB–12,76 GiB10,89 GiB–13,24 GiB12,39 GiB–15,09 GiB
GGUF Q3_K_L (mradermacher)13,96 GiB–16,80 GiB14,33 GiB–17,28 GiB15,83 GiB–19,12 GiB
GGUF Q3_K_S (mradermacher)11,81 GiB–14,28 GiB12,19 GiB–14,76 GiB13,69 GiB–16,61 GiB
INT4 theoretical
Las filas teóricas no son artefactos descargables.
13,33 GiB–17,56 GiB13,71 GiB–18,03 GiB15,21 GiB–19,88 GiB

Caché KV (datos brutos)

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Hipótesis que afectan al resultado

Calculadora

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Cuantización

Tipo de dispositivo

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.