Cabe con holgura: VRAM necesaria 19,36 GiB para Qwen3.8-27B en Apple M2 Max — Estimación aproximada

Cabe con holgura. VRAM necesaria 16,11 GiB–19,36 GiB en Apple M2 Max (64 GB unified memory) frente a 54,00 GiB netos. GGUF UD-Q4_K_M (Unsloth), 8192 tokens. Estimación aproximada 64 GB unified memory no es VRAM discreta.

Juicio condicional de memoria para una configuración. El contexto, la cuantización o el motor pueden cambiar la conclusión. Configuración de esta página: GGUF UD-Q4_K_M (Unsloth), 8192 tokens en caché, 1 secuencia, motor llama.cpp. Estado: Es probable que quepa. Software: No verificado..

Es probable que quepaNo verificadoEste resultado es una estimación, no una traza medida.

Configuración fija de la página

ModeloQwen3.8-27B
HardwareApple M2 Max 64GB unified (MacBook Pro / Mac Studio)
CuantizaciónGGUF UD-Q4_K_M (Unsloth)
Longitud de contexto (tokens en caché)8192
Motorllama.cpp
Secuencias simultáneas1
Tipo de caché KVfp16

Identificadores técnicos y datos para compartir

Modeloqwen3.8-27b
Hardwareapple-m2-max-64gb-unified
Cuantizacióngguf-ud-q4_k_m
Fragmento para compartir esta identidadv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLjgtMjdiIiwiaGFyZHdhcmVJZCI6ImFwcGxlLW0yLW1heC02NGdiLXVuaWZpZWQiLCJkZXZpY2VDb3VudCI6MSwicXVhbnRpemF0aW9uSWQiOiJnZ3VmLXVkLXE0X2tfbSIsImNvbnRleHRUb2tlbnMiOjgxOTIsImNvbmN1cnJlbnRTZXF1ZW5jZXMiOjEsImVuZ2luZSI6ImxsYW1hLmNwcCIsImt2VHlwZSI6ImZwMTYifX0

Desglose de memoria

Weight artifact: 15,33 GiB (16.464.440.224 bytes)
Raw KV cache: 0,50 GiB (536.870.912 bytes)
Engine extras / workspace: 0,27 GiB–3,53 GiB
Total estimated demand: 16,11 GiB–19,36 GiB
Net calculator budget: 54,00 GiB
OS / display reserve: 10,00 GiB
Remaining vs net budget: 34,64 GiB–37,89 GiB

estimación alta 19,36 GiB frente a 54,00 GiB netos

Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

Otros archivos publicados en este dispositivo

Mismo modelo, dispositivo y contexto (8192 tokens, 1 secuencia, KV en FP16). Cada fila es un conjunto de archivos de pesos publicado con su motor habitual, ordenado por memoria.

Mostrar los 28 archivos publicados

Cuantización	Motor	Memoria estimada	Ajuste
BF16 safetensors	`vllm`	53,02 GiB–63,15 GiB	Ajustado · Estimación aproximada
GGUF BF16 (Unsloth)	`llama.cpp`	51,68 GiB–61,08 GiB	Ajustado · Estimación aproximada
GGUF UD-Q8_K_XL (Unsloth)	`llama.cpp`	30,07 GiB–35,74 GiB	Cabe con holgura · Estimación aproximada
GGUF Q8_0 (Unsloth)	`llama.cpp`	27,83 GiB–33,10 GiB	Cabe con holgura · Estimación aproximada
GGUF Q8_0 (mradermacher)	`llama.cpp`	27,83 GiB–33,10 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q6_K_XL (Unsloth)	`llama.cpp`	24,33 GiB–29,01 GiB	Cabe con holgura · Estimación aproximada
GGUF Q6_K (mradermacher)	`llama.cpp`	21,66 GiB–25,88 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q5_K_M (Unsloth)	`llama.cpp`	19,19 GiB–22,97 GiB	Cabe con holgura · Estimación aproximada
GGUF Q5_K_M (mradermacher)	`llama.cpp`	18,97 GiB–22,71 GiB	Cabe con holgura · Estimación aproximada
GGUF Q5_K_S (mradermacher)	`llama.cpp`	18,44 GiB–22,10 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q4_K_XL (Unsloth)	`llama.cpp`	17,13 GiB–20,55 GiB	Cabe con holgura · Estimación aproximada
GGUF Q4_1 (Unsloth)	`llama.cpp`	17,11 GiB–20,53 GiB	Cabe con holgura · Estimación aproximada
GGUF Q4_K_M (mradermacher)	`llama.cpp`	16,43 GiB–19,74 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-Q4_K_M (Unsloth) Esta página	`llama.cpp`	16,11 GiB–19,36 GiB	Cabe con holgura · Estimación aproximada
GGUF Q4_0 (Unsloth)	`llama.cpp`	15,73 GiB–18,91 GiB	Cabe con holgura · Estimación aproximada
GGUF Q4_K_S (mradermacher)	`llama.cpp`	15,51 GiB–18,66 GiB	Cabe con holgura · Estimación aproximada
GGUF IQ4_XS (mradermacher)	`llama.cpp`	15,13 GiB–18,22 GiB	Cabe con holgura · Estimación aproximada
GGUF Q3_K_L (mradermacher)	`llama.cpp`	14,33 GiB–17,28 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ4_XS (Unsloth)	`llama.cpp`	14,05 GiB–16,94 GiB	Cabe con holgura · Estimación aproximada
GGUF Q3_K_M (mradermacher)	`llama.cpp`	13,35 GiB–16,12 GiB	Cabe con holgura · Estimación aproximada
GGUF Q3_K_S (mradermacher)	`llama.cpp`	12,19 GiB–14,76 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ3_S (Unsloth)	`llama.cpp`	11,99 GiB–14,53 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ3_XXS (Unsloth)	`llama.cpp`	10,96 GiB–13,32 GiB	Cabe con holgura · Estimación aproximada
GGUF Q2_K (mradermacher)	`llama.cpp`	10,89 GiB–13,24 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ2_S (Unsloth)	`llama.cpp`	8,57 GiB–10,52 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ2_XXS (Unsloth)	`llama.cpp`	7,54 GiB–9,31 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ1_M (Unsloth)	`llama.cpp`	7,04 GiB–8,72 GiB	Cabe con holgura · Estimación aproximada
GGUF UD-IQ1_S (Unsloth)	`llama.cpp`	6,54 GiB–8,14 GiB	Cabe con holgura · Estimación aproximada

Hipótesis que afectan al resultado

El contexto pedido cabe en la ventana nativa de 262144 tokens.
La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Archivos contados: Qwen3.8-27B-UD-Q4_K_M.gguf.
Hay componente de visión. La inferencia de texto no incluye encoder ni projector.
Hay pesos MTP/draft; no entran salvo que se activen.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).

Abrir esta combinación en la calculadora Caché KV

Páginas relacionadas

Fuentes

Qwen3.8-27B model card
config.json — revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0
safetensors index — metadata.total_size=55562855904
Artifact repo unsloth/Qwen3.8-27B-GGUF
Artifact repo mradermacher/Qwen3.8-27B-GGUF
MacBook Pro (16-inch, 2023) tech specs — Apple M2 Max configurable to 64GB unified memory (32GB and 96GB are different SKUs).

Calculadora

Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personalice en la calculadora principal; el enlace conservará esa identidad.

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Modelo

Mostrar modelos históricos

Cuantización

Tipo de dispositivo

Hardware

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados

Ejecución

Motor y tipo de caché KV de esta estimación.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto) Permitir un sustituto si el filtro no tiene coincidencia

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.