Llama 3.1 8B Instruct: requisitos de VRAM e memória

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact

14,96 GiB (16.060.556.376 bytes)

Raw KV cache

1,00 GiB (1.073.741.824 bytes)

Engine extras / workspace

0,63 GiB–2,53 GiB

Total estimated demand

16,58 GiB–18,49 GiB

Arquivos contados

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (8), não query heads (32).

• 8,192 tokens, 1 sequence, FP16: 1.073.741.824 bytes (1,00 GiB)
• 32,768 tokens: 4.294.967.296 bytes (4,00 GiB)

Páginas relacionadas

• Calculadora de cache KV
• Memória em 4-bit, 8-bit e FP16 (inglês)
• Tamanho de arquivo não é VRAM em execução (inglês)
• Metodologia

Fontes

• Llama 3.1 8B Instruct model card (Meta) — Context length 128k, GQA, Llama 3.1 Community License. Parameters as printed on the card.
• Meta llama-models sku_list.py (architecture arguments) — arch_args dim=4096, n_layers=32, n_heads=32, n_kv_heads=8. head_dim is dim ÷ n_heads = 128 (Meta's reference model derives it that way; sku_list.py has no head_dim key). The Hugging Face config.json is gated (HTTP 401), so it was not read.
• Hugging Face API — sha 0e9e39f249a16976918f6564b8830bc894c89659; gated manual; safetensors.total=8030261248; 4 safetensors siblings.
• Cross-check only: GGUF header of a community conversion (not an official source) — Header read with an HTTP range request on 2026-10-18; it agrees with Meta's numbers: block_count 32, head_count 32, head_count_kv 8, embedding_length 4096, context_length 131072, rope.dimension_count 128. The catalog values above come from Meta, not from this file.
• Hugging Face model page — Gated (manual). Llama 3.1 Community License applies; this page states facts only and does not redistribute the weights.

Premissas que afetam o resultado

• O contexto pedido cabe na janela nativa de 131072 tokens.
• A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
• Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
• O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
• Arquivos contados: model-00001-of-00004.safetensors, model-00002-of-00004.safetensors, model-00003-of-00004.safetensors, model-00004-of-00004.safetensors.
• O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
• Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
• O tipo da KV é independente da quantização dos pesos, a menos que você mude.

Calculadora