¿Cabe Qwen2.5-14B-Instruct en RTX 4060 Ti?

Sí Qwen2.5-14B-Instruct con Q4_K_M necesita 10,00 GiB–10,64 GiB con un contexto de 8192 tokens. La RTX 4060 Ti tiene unos 15 GiB utilizables.

3 archivos, 9,0 GB en total.

Son estimaciones a partir de la config del modelo y del tamaño de los archivos, no mediciones. Cómo calculamos

Cuánto margen queda

Otros archivos en esta GPU

CuantizaciónTamaño del archivoMotorTotalAjuste
BF16 safetensors29,5 GBvllm29,6 GiB–31,6 GiBNo cabe
GGUF Q8_015,7 GBllama.cpp16,2 GiB–17,0 GiBNo cabe
GGUF Q6_K (Qwen)12,1 GBllama.cpp12,9 GiB–13,6 GiBAjustado
GGUF Q5_K_M (Qwen)10,5 GBllama.cpp11,4 GiB–12,1 GiBCabe
GGUF Q4_K_M Configuración actual9,0 GBllama.cpp10,0 GiB–10,6 GiBCabe

Mismo contexto (8192 tokens), un chat a la vez, cada archivo con su motor habitual.

Configuración usada

Identificadores técnicos y datos para compartir
  • Modeloqwen2.5-14b-instruct
  • Hardwarenvidia-geforce-rtx-4060-ti-16gb-desktop
  • Cuantizacióngguf-q4_k_m
  • Código para compartir esta configuraciónv2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtMTRiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC00MDYwLXRpLTE2Z2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Cómo se calcula este número

Total = archivo de pesos + caché KV + búferes de ejecución. El rango va de la sobrecarga baja a la alta del motor indicado.

Pesos (archivo)
8,37 GiB (8.988.110.496 bytes)
Caché KV
1,50 GiB (1.610.612.736 bytes)
Búferes de ejecución
0,13 GiB–0,77 GiB
Total
10,00 GiB–10,64 GiB
Memoria utilizable
15,00 GiB
Reserva de sistema / pantalla
1,00 GiB
Sobrante
4,36 GiB–5,00 GiB

estimación alta 10,64 GiB con 15,00 GiB disponibles

Que quepa en memoria no prueba que el motor, la cuantización y el sistema funcionen juntos. Compatibilidad no implica buen rendimiento.

  • El contexto pedido cabe en la ventana nativa de 32768 tokens.
  • Los pesos cargados se estiman con el total de parámetros, incluidos los expertos MoE inactivos.
  • Solo cuentan los archivos de pesos elegidos, no todas las cuantizaciones del repositorio.
  • El tamaño de descarga no es el pico de memoria de GPU. El diseño en ejecución, el relleno del asignador y la caché KV van aparte.
  • Archivos contados: qwen2.5-14b-instruct-q4_k_m-00001-of-00003.gguf, qwen2.5-14b-instruct-q4_k_m-00002-of-00003.gguf, qwen2.5-14b-instruct-q4_k_m-00003-of-00003.gguf.
  • La longitud de contexto son los tokens en caché por secuencia (entrada más la salida reservada).
  • Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
  • La precisión de la caché KV no depende de la cuantización de los pesos, salvo que la cambies.
Abrir esta combinación en la calculadoraCaché KV

Páginas relacionadas

Fuentes

Calculadora

Esta página de combo mantiene el modelo y el dispositivo de la ruta. Personaliza en la calculadora principal; el enlace conservará esa identidad.

Cargando la instantánea del catálogo…

Longitud de contexto

Más contexto necesita más memoria para la caché KV, la memoria de trabajo del modelo para la conversación.

Más opciones
Cuantización
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importa una config o escribe la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Elige un modelo para ver cuánta memoria necesita.