Llama 3.2 3B Instruct: requisitos de VRAM y memoria

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact

5,98 GiB (6.425.529.048 bytes)

Raw KV cache

0,88 GiB (939.524.096 bytes)

Engine extras / workspace

0,63 GiB–2,53 GiB

Total estimated demand

7,48 GiB–9,39 GiB

Archivos contados

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Caché KV (datos brutos)

El KV bruto de GQA/MHA es 2 × capas × kvHeads × headDim × tokens × secuencias × bytes por elemento. Esta página usa KV heads (8), no query heads (24).

• 8,192 tokens, 1 sequence, FP16: 939.524.096 bytes (0,8750 GiB)
• 32,768 tokens: 3.758.096.384 bytes (3,5000 GiB)

Páginas relacionadas

• Calculadora de caché KV
• Memoria en 4-bit, 8-bit y FP16 (inglés)
• El tamaño del archivo no es la VRAM en ejecución (inglés)
• Metodología

Fuentes

• Llama 3.2 3B Instruct model card (Meta) — Context length 128k, GQA, Llama 3.2 Community License. Parameters as printed on the card.
• Meta llama-models sku_list.py (architecture arguments) — arch_args dim=3072, n_layers=28, n_heads=24, n_kv_heads=8. head_dim is dim ÷ n_heads = 128 (Meta's reference model derives it that way; sku_list.py has no head_dim key). The Hugging Face config.json is gated (HTTP 401), so it was not read.
• Hugging Face API — sha 0cb88a4f764b7a12671c53f0838cd831a0843b95; gated manual; safetensors.total=3212749824; 2 safetensors siblings.
• Cross-check only: GGUF header of a community conversion (not an official source) — Header read with an HTTP range request on 2026-10-18; it agrees with Meta's numbers: block_count 28, head_count 24, head_count_kv 8, embedding_length 3072, context_length 131072, key_length 128. The catalog values above come from Meta, not from this file.
• Hugging Face model page — Gated (manual). Llama 3.2 Community License applies; this page states facts only and does not redistribute the weights.

Hipótesis que afectan al resultado

• El contexto pedido cabe en la ventana nativa de 131072 tokens.
• La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
• Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
• El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
• Archivos contados: model-00001-of-00002.safetensors, model-00002-of-00002.safetensors.
• El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
• Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
• El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.

Calculadora