Calculadora de VRAM para LLM en local

Elija su GPU y un modelo para ver si cabe, con pesos, caché KV y sobrecarga de ejecución incluidos.

Tu GPU o Mac

Modelo

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones

Cantidad

CuantizaciónGGUF Q8_0Recomendado8,10 GiB – 8,66 GiBCabe con holguraBF16 safetensors14,75 GiB – 15,44 GiBCabeGGUF Q6_K (Qwen)6,39 GiB – 6,91 GiBCabe con holguraGGUF Q5_K_M5,63 GiB – 6,14 GiBCabe con holgura

GGUF Q8_0 · Auto · gguf-q8_0

Checkpoint: Qwen/Qwen2.5-7B-Instruct-GGUF

Mostrar modelos históricos

Ejecución

Motor y tipo de caché KV de esta estimación.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto) Permitir un sustituto si el filtro no tiene coincidencia

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Modelo personalizado

Importa una config o escribe la arquitectura. No se escanea nada hasta importar.

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Cabe

Qwen2.5-7B-Instruct · en RTX 4090 24GB · contexto de 8K

Necesario

8,66 GiB

Disponible en RTX 4090 24GB

22,00 GiB

Rango estimado: de 8,10 GiB a 8,66 GiB.

Pesos 7,54 GiB
Contexto (caché KV) 0,44 GiB
Sobrecarga 0,13 GiB
Libre 13,34 GiB

Archivo: GGUF Q8_0 · elegido automáticamente · Qwen/Qwen2.5-7B-Instruct-GGUF

Prueba esto

Hay espacio para un contexto de 32K: necesita unos 10,07 GiB.

Ejecución: no verificada

Detalles

Bytes del archivo

Checkpoint: Qwen/Qwen2.5-7B-Instruct

Compatibilidad de software

Runtime	Estado	Notas
llama.cpp	No verificado	Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.
Ollama (basado en llama.cpp)	No verificado	Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.
vLLM	No verificado	No verificado
SGLang	No verificado	No verificado
MLX	No aplica a este hardware	No verificado
ExLlamaV3	No verificado	No verificado

Evidencia y límites

Que quepa en memoria no garantiza que este motor, esta cuantización y este sistema funcionen juntos.
Según el formato, este motor puede leer el archivo. Eso no es una prueba real con este modelo, esta versión, este hardware y este sistema.

Hipótesis que afectan al resultado

El contexto pedido cabe en la ventana nativa de 32768 tokens.
Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
Archivos contados: qwen2.5-7b-instruct-q8_0-00001-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00002-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00003-of-00003.gguf.
La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
La precisión de la caché KV no depende de la cuantización de los pesos, salvo que la cambies.
Se usan 4 cabezas KV, no 28 de consulta.
El pico de prefill y la decodificación estable no coinciden. El escenario alto se acerca al prefill.
La reserva del motor no es el uso real de pesos y KV.
Los búferes de llama.cpp crecen con el contexto y el batch. Son escenarios ajustables, no mediciones, salvo que haya una calibración coincidente.
La RAM del host no se añade sola a la VRAM discreta.
Se eligió gguf-q8_0 automáticamente. El resultado muestra lo que se usó.

Conjunto 2026-10-02.1 · calculadora 0.3.0

Las cifras son estimaciones a partir de la configuración del modelo y el tamaño de los archivos, no mediciones. Método de cálculo

De qué se compone la VRAM necesaria

Cada resultado suma las partes de abajo y compara el total con la memoria que su GPU o su Mac puede usar de verdad. Las cifras son estimaciones, no mediciones: la metodología explica el cálculo y la calculadora de caché KV calcula aparte la memoria del contexto.

Pesos
Bytes de los archivos de pesos elegidos (GGUF o safetensors), no una suposición a partir del número de parámetros. Los modelos MoE cuentan todos los expertos.
Caché KV
Crece con la longitud de contexto y las secuencias concurrentes, según la estructura de atención de cada arquitectura.
Sobrecarga del runtime
Espacio de trabajo y búferes del motor, como un rango para llama.cpp, vLLM, SGLang y otros motores.
Memoria utilizable
Capacidad del dispositivo menos una reserva para el sistema y la pantalla. Dos GPU nunca se suman sin más.