VRAM necesaria para Phi-3.5-mini-instruct

Phi-3.5-mini-instruct necesita unos 6 GiB de memoria de GPU con Q4_K_M y un contexto de 8K. Basta con una GPU de 8 GB como la RTX 4060. Con un contexto de 32K necesita unos 15,6 GiB, que caben en una tarjeta de 20 GB.

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

VRAM por cuantización

CuantizaciónTamaño del archivoTotal con 8KTotal con 32K
BF16 safetensors7,6 GB10,7 GiB–12,7 GiB19,7 GiB–22,0 GiB
GGUF Q8_0 (bartowski)4,1 GB6,9 GiB–7,6 GiB15,9 GiB–17,2 GiB
GGUF Q6_K (bartowski)3,1 GB6,0 GiB–6,7 GiB15,0 GiB–16,3 GiB
GGUF Q5_K_M (bartowski)2,8 GB5,7 GiB–6,4 GiB14,7 GiB–16,0 GiB
GGUF Q4_K_M (bartowski)2,4 GB5,4 GiB–6,0 GiB14,4 GiB–15,6 GiB

Nombres como Q4_K_M y Q8_0 son niveles de cuantización: menos bits por peso dan un archivo más pequeño y algo menos de calidad. Los totales suman la caché KV (memoria que crece con la longitud del contexto) y los búferes de ejecución, con un chat a la vez. Archivos para descargar

Qué GPU pueden ejecutarlo

MemoriaUtilizableEjemplosCon 8KCon 32K
8 GB7,0 GiBRTX 4060, RTX 3060, RTX 5060 Ti +1 másCabeNo cabe
10 GB9,0 GiBRTX 3080Cabe con holguraNo cabe
12 GB11,0 GiBRTX 4070, RTX 3060, RTX 5070 +2 másCabe con holguraNo cabe
16 GB14,0 GiBRTX 4080 SUPER, RTX 5080, RX 7800 XT +5 másCabe con holguraNo cabe
16 GB15,0 GiBRTX 4060 Ti, RTX 4070 Ti SUPERCabe con holguraAjustado
20 GB18,0 GiBRX 7900 XTCabe con holguraCabe
24 GB22,0 GiBRTX 4090, RX 7900 XTX, RTX 3090Cabe con holguraCabe
32 GB30,0 GiBRTX 5090Cabe con holguraCabe con holgura
48 GB46,0 GiBL40SCabe con holguraCabe con holgura
80 GB78,0 GiBA100, H100Cabe con holguraCabe con holgura
64 GB · unificada54,0 GiBApple M2 MaxCabe con holguraCabe con holgura
128 GB · unificada96,0 GiBRyzen AI Max+ 395Cabe con holguraCabe con holgura
128 GB · unificada112,0 GiBDGX Spark (GB10)Cabe con holguraCabe con holgura
128 GB · unificada116,0 GiBApple M4 MaxCabe con holguraCabe con holgura

GGUF Q4_K_M (bartowski), un chat a la vez. La memoria utilizable es el total menos una reserva por defecto para el sistema y la pantalla.

Comprobaciones concretas

Arquitectura

La caché KV crece con el contexto: en FP16 son unos 3 GiB con 8K y 12 GiB con 32K.

Preguntas frecuentes

¿El tamaño de la descarga es la VRAM que usa?

No. El archivo Q4_K_M ocupa unos 2,2 GiB, pero con un contexto de 8K el total ronda 6 GiB, porque la caché KV y los búferes de ejecución se suman a los pesos.

¿Cuánta memoria añade un contexto más largo?

En Phi-3.5-mini-instruct la caché KV ocupa unos 3 GiB con 8K tokens y 12 GiB con 32K en FP16. Los pesos no cambian de tamaño.

¿Qué cuantización elijo?

Empieza con Q4_K_M (unos 6 GiB con 8K). Si tienes memoria, BF16 necesita unos 12,7 GiB y se queda más cerca de los pesos originales.

Archivos para descargar

CuantizaciónArchivosTamaño del archivoMotor
BF16 safetensorsmodel-00001-of-00002.safetensors, model-00002-of-00002.safetensors7,64 GB
7.642.159.104 bytes
vllm, sglang
GGUF Q8_0 (bartowski)Phi-3.5-mini-instruct-Q8_0.gguf4,06 GB
4.061.222.688 bytes
llama.cpp, ollama
GGUF Q6_K (bartowski)Phi-3.5-mini-instruct-Q6_K.gguf3,14 GB
3.135.853.344 bytes
llama.cpp, ollama
GGUF Q5_K_M (bartowski)Phi-3.5-mini-instruct-Q5_K_M.gguf2,82 GB
2.815.276.320 bytes
llama.cpp, ollama
GGUF Q4_K_M (bartowski)Phi-3.5-mini-instruct-Q4_K_M.gguf2,39 GB
2.393.232.672 bytes
llama.cpp, ollama
Cómo se calcula este número

Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.

GGUF Q4_K_M (bartowski) · 8192 tokens · llama.cpp

Pesos (archivo)
2,23 GiB (2.393.232.672 bytes)
Caché KV
3,00 GiB (3.221.225.472 bytes)
Búferes de ejecución
0,13 GiB–0,75 GiB
Total
5,35 GiB–5,98 GiB
  • El contexto pedido cabe en la ventana nativa de 131072 tokens.
  • Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
  • Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
  • El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
  • Archivos contados: Phi-3.5-mini-instruct-Q4_K_M.gguf.
  • La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
  • Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
  • La precisión de la caché KV no depende de la cuantización de los pesos, salvo que la cambies.

Cómo calculamos

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Calculadora

Cargando la instantánea del catálogo…

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones
Cuantización
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importa una config o escribe la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Elige un modelo para ver cuánta memoria necesita.