Llama 3.1 8B Instruct: requisitos de VRAM y memoria

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact

14,96 GiB (16.060.556.376 bytes)

Raw KV cache

1,00 GiB (1.073.741.824 bytes)

Engine extras / workspace

0,63 GiB–2,53 GiB

Total estimated demand

16,58 GiB–18,49 GiB

Archivos contados

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Caché KV (datos brutos)

El KV bruto de GQA/MHA es 2 × capas × kvHeads × headDim × tokens × secuencias × bytes por elemento. Esta página usa KV heads (8), no query heads (32).

• 8,192 tokens, 1 sequence, FP16: 1.073.741.824 bytes (1,00 GiB)
• 32,768 tokens: 4.294.967.296 bytes (4,00 GiB)

Páginas relacionadas

• Calculadora de caché KV
• Memoria en 4-bit, 8-bit y FP16 (inglés)
• El tamaño del archivo no es la VRAM en ejecución (inglés)
• Metodología

Fuentes

• Llama 3.1 8B Instruct model card (Meta) — Context length 128k, GQA, Llama 3.1 Community License. Parameters as printed on the card.
• Meta llama-models sku_list.py (architecture arguments) — arch_args dim=4096, n_layers=32, n_heads=32, n_kv_heads=8. head_dim is dim ÷ n_heads = 128 (Meta's reference model derives it that way; sku_list.py has no head_dim key). The Hugging Face config.json is gated (HTTP 401), so it was not read.
• Hugging Face API — sha 0e9e39f249a16976918f6564b8830bc894c89659; gated manual; safetensors.total=8030261248; 4 safetensors siblings.
• Cross-check only: GGUF header of a community conversion (not an official source) — Header read with an HTTP range request on 2026-10-18; it agrees with Meta's numbers: block_count 32, head_count 32, head_count_kv 8, embedding_length 4096, context_length 131072, rope.dimension_count 128. The catalog values above come from Meta, not from this file.
• Hugging Face model page — Gated (manual). Llama 3.1 Community License applies; this page states facts only and does not redistribute the weights.

Hipótesis que afectan al resultado

• El contexto pedido cabe en la ventana nativa de 131072 tokens.
• La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
• Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
• El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
• Archivos contados: model-00001-of-00004.safetensors, model-00002-of-00004.safetensors, model-00003-of-00004.safetensors, model-00004-of-00004.safetensors.
• El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).
• Las secuencias concurrentes comparten una copia del modelo; los pesos no se multiplican por el número de secuencias.
• El tipo de KV es independiente de la cuantización de pesos salvo que lo cambie.

Calculadora