Llama 3.2 1B Instruct: requisitos de VRAM y memoria

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact

2,30 GiB (2.471.645.608 bytes)

Raw KV cache

0,25 GiB (268.435.456 bytes)

Engine extras / workspace

0,63 GiB–2,51 GiB

Total estimated demand

3,18 GiB–5,06 GiB

Archivos contados

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Caché KV (datos brutos)

El KV bruto de GQA/MHA es 2 × capas × kvHeads × headDim × tokens × secuencias × bytes por elemento. Esta página usa KV heads (8), no query heads (32).

• 8,192 tokens, 1 sequence, FP16: 268.435.456 bytes (0,2500 GiB)
• 32,768 tokens: 1.073.741.824 bytes (1,00 GiB)

Páginas relacionadas

• Calculadora de caché KV
• Memoria en 4-bit, 8-bit y FP16 (inglés)
• El tamaño del archivo no es la VRAM en ejecución (inglés)
• Metodología

Fuentes

• Llama 3.2 1B Instruct model card (Meta) — Context length 128k, GQA, Llama 3.2 Community License. Parameters as printed on the card.
• Meta llama-models sku_list.py (architecture arguments) — arch_args dim=2048, n_layers=16, n_heads=32, n_kv_heads=8. head_dim is dim ÷ n_heads = 64 (Meta's reference model derives it that way; sku_list.py has no head_dim key). The Hugging Face config.json is gated (HTTP 401), so it was not read.
• Hugging Face API — sha 9213176726f574b556790deb65791e0c5aa438b6; gated manual; safetensors.total=1235814400; 1 safetensors siblings.
• Cross-check only: GGUF header of a community conversion (not an official source) — Header read with an HTTP range request on 2026-10-18; it agrees with Meta's numbers: block_count 16, head_count 32, head_count_kv 8, embedding_length 2048, context_length 131072, key_length 64. The catalog values above come from Meta, not from this file.
• Hugging Face model page — Gated (manual). Llama 3.2 Community License applies; this page states facts only and does not redistribute the weights.

Hipótesis que afectan al resultado

• El contexto pedido cabe en la ventana nativa de 131072 tokens.
• La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
• Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
• El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
• Archivos contados: model.safetensors.
• El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
• Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
• El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.

Calculadora