Qwen3.8-27B en RTX 5090: Cabe con holgura, Estimación aproximada
Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión. Configuración de esta página: GGUF UD-Q4_K_M (Unsloth), 8192 tokens en caché, 1 secuencia, motor llama.cpp. Estado: Es probable que quepa. Software: No verificado..
La calculadora genérica juzga el checkpoint canónico. Para esta combinación también hay 1 recetas de despliegue probadas por la comunidad.
Es probable que quepaNo verificadoEste resultado es una estimación, no una traza medida.1 configuraciones conocidas
Configuraciones conocidas que funcionan
1 configuraciones conocidasRecetas de despliegue probadas para este modelo en este hardware.
Qwen3.8-27B
1× GeForce RTX 5090 32GB (desktop)
Cuantización:NVFP4 safetensors(4 bpw)
Motor:vLLM
Probado:
- ✓ generación
- ✓ 262,144 contexto
- ✓ llamada a herramientas
- ✓ decodificación especulativa
Medido:160 tok/s· 1 flujo
Despliegue probado. El texto está en inglés.
Configuración fija de la página
- ModeloQwen3.8-27B
- HardwareGeForce RTX 5090 32GB (desktop)
- CuantizaciónGGUF UD-Q4_K_M (Unsloth)
- Longitud de contexto (tokens en caché)8192
- Motor
llama.cpp - Secuencias simultáneas1
- Tipo de caché KVfp16
Identificadores técnicos y datos para compartir
- Modelo
qwen3.8-27b - Hardware
nvidia-geforce-rtx-5090-32gb-desktop - Cuantización
gguf-ud-q4_k_m - Fragmento para compartir esta identidad
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLjgtMjdiIiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC01MDkwLTMyZ2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtdWQtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Desglose de memoria
- Weight artifact
- 15,33 GiB (16.464.440.224 bytes)
- Raw KV cache
- 0,50 GiB (536.870.912 bytes)
- Engine extras / workspace
- 0,27 GiB–3,53 GiB
- Total estimated demand
- 16,11 GiB–19,36 GiB
- Net calculator budget
- 30,00 GiB
- OS / display reserve
- 2,00 GiB
- Remaining vs net budget
- 10,64 GiB–13,89 GiB
estimación alta 19,36 GiB frente a 30,00 GiB netos
Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.
Otros archivos publicados en este dispositivo
Mismo modelo, dispositivo y contexto (8192 tokens, 1 secuencia, KV en FP16). Cada fila es un conjunto de archivos de pesos publicado con su motor habitual, ordenado por memoria.
Mostrar los 28 archivos publicados
| Cuantización | Motor | Memoria estimada | Ajuste |
|---|---|---|---|
| BF16 safetensors | vllm | 53,02 GiB–63,15 GiB | No cabe · Estimación aproximada |
| GGUF BF16 (Unsloth) | llama.cpp | 51,68 GiB–61,08 GiB | No cabe · Estimación aproximada |
| GGUF UD-Q8_K_XL (Unsloth) | llama.cpp | 30,07 GiB–35,74 GiB | No cabe · Estimación aproximada |
| GGUF Q8_0 (Unsloth) | llama.cpp | 27,83 GiB–33,10 GiB | Ajustado · Estimación aproximada |
| GGUF Q8_0 (mradermacher) | llama.cpp | 27,83 GiB–33,10 GiB | Ajustado · Estimación aproximada |
| GGUF UD-Q6_K_XL (Unsloth) | llama.cpp | 24,33 GiB–29,01 GiB | Ajustado · Estimación aproximada |
| GGUF Q6_K (mradermacher) | llama.cpp | 21,66 GiB–25,88 GiB | Cabe · Estimación aproximada |
| GGUF UD-Q5_K_M (Unsloth) | llama.cpp | 19,19 GiB–22,97 GiB | Cabe · Estimación aproximada |
| GGUF Q5_K_M (mradermacher) | llama.cpp | 18,97 GiB–22,71 GiB | Cabe · Estimación aproximada |
| GGUF Q5_K_S (mradermacher) | llama.cpp | 18,44 GiB–22,10 GiB | Cabe · Estimación aproximada |
| GGUF UD-Q4_K_XL (Unsloth) | llama.cpp | 17,13 GiB–20,55 GiB | Cabe con holgura · Estimación aproximada |
| GGUF Q4_1 (Unsloth) | llama.cpp | 17,11 GiB–20,53 GiB | Cabe con holgura · Estimación aproximada |
| GGUF Q4_K_M (mradermacher) | llama.cpp | 16,43 GiB–19,74 GiB | Cabe con holgura · Estimación aproximada |
| GGUF UD-Q4_K_M (Unsloth) Esta página | llama.cpp | 16,11 GiB–19,36 GiB | Cabe con holgura · Estimación aproximada |
| GGUF Q4_0 (Unsloth) | llama.cpp | 15,73 GiB–18,91 GiB | Cabe con holgura · Estimación aproximada |
| GGUF Q4_K_S (mradermacher) | llama.cpp | 15,51 GiB–18,66 GiB | Cabe con holgura · Estimación aproximada |
| GGUF IQ4_XS (mradermacher) | llama.cpp | 15,13 GiB–18,22 GiB | Cabe con holgura · Estimación aproximada |
| GGUF Q3_K_L (mradermacher) | llama.cpp | 14,33 GiB–17,28 GiB | Cabe con holgura · Estimación aproximada |
| GGUF UD-IQ4_XS (Unsloth) | llama.cpp | 14,05 GiB–16,94 GiB | Cabe con holgura · Estimación aproximada |
| GGUF Q3_K_M (mradermacher) | llama.cpp | 13,35 GiB–16,12 GiB | Cabe con holgura · Estimación aproximada |
| GGUF Q3_K_S (mradermacher) | llama.cpp | 12,19 GiB–14,76 GiB | Cabe con holgura · Estimación aproximada |
| GGUF UD-IQ3_S (Unsloth) | llama.cpp | 11,99 GiB–14,53 GiB | Cabe con holgura · Estimación aproximada |
| GGUF UD-IQ3_XXS (Unsloth) | llama.cpp | 10,96 GiB–13,32 GiB | Cabe con holgura · Estimación aproximada |
| GGUF Q2_K (mradermacher) | llama.cpp | 10,89 GiB–13,24 GiB | Cabe con holgura · Estimación aproximada |
| GGUF UD-IQ2_S (Unsloth) | llama.cpp | 8,57 GiB–10,52 GiB | Cabe con holgura · Estimación aproximada |
| GGUF UD-IQ2_XXS (Unsloth) | llama.cpp | 7,54 GiB–9,31 GiB | Cabe con holgura · Estimación aproximada |
| GGUF UD-IQ1_M (Unsloth) | llama.cpp | 7,04 GiB–8,72 GiB | Cabe con holgura · Estimación aproximada |
| GGUF UD-IQ1_S (Unsloth) | llama.cpp | 6,54 GiB–8,14 GiB | Cabe con holgura · Estimación aproximada |
Hipótesis que afectan al resultado
- El contexto pedido cabe en la ventana nativa de 262144 tokens.
- La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
- Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
- El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
- Archivos contados: Qwen3.8-27B-UD-Q4_K_M.gguf.
- Hay componente de visión. La inferencia de texto no incluye encoder ni projector.
- Hay pesos MTP/draft; no entran salvo que se activen.
- El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
Páginas relacionadas
Fuentes
- Qwen3.8-27B model card
- config.json — revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0
- safetensors index — metadata.total_size=55562855904
- Artifact repo unsloth/Qwen3.8-27B-GGUF
- Artifact repo mradermacher/Qwen3.8-27B-GGUF
- NVIDIA GeForce RTX 5090 product page — Standard Memory Config 32 GB GDDR7
Calculadora
Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personalice en la calculadora principal; el enlace conservará esa identidad.
Cargando la instantánea del catálogo…
Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.
Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.