Llama 3.3 70B Instruct: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. Official BF16 safetensors: 134,54 GiB–136,49 GiB em 8.192 tokens, 1 sequência, KV FP16, vllm.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Publicador e procedência

FornecedorMeta
Hugging Facemeta-llama/Llama-3.3-70B-Instruct
Revision6f6073b423013f6a7d4d9f39144961bfbfbc386b
Parâmetros totais70.553.706.496
Camadas80
Heads de consulta64
Heads KV8 (gqa)
Dimensão do head128
Contexto documentado131.072
Completudecomplete · full

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact: 131,42 GiB (141.107.497.872 bytes)
Raw KV cache: 2,50 GiB (2.684.354.560 bytes)
Engine extras / workspace: 0,63 GiB–2,58 GiB
Total estimated demand: 134,54 GiB–136,49 GiB

Arquivos contados

Quantização	Arquivos contados	Bytes	Motor de execução	Evidência
Official BF16 safetensors bf16 Calculadora: Official BF16 safetensors	30 shards safetensors Total de bytes selecionados: 141.107.497.872 (131,42 GiB / 141,11 GB) Primeiro shard: model-00001-of-00030.safetensors Último shard: model-00030-of-00030.safetensors Ver todos os 30 arquivos de shard `model-00001-of-00030.safetensors` `model-00002-of-00030.safetensors` `model-00003-of-00030.safetensors` `model-00004-of-00030.safetensors` `model-00005-of-00030.safetensors` `model-00006-of-00030.safetensors` `model-00007-of-00030.safetensors` `model-00008-of-00030.safetensors` `model-00009-of-00030.safetensors` `model-00010-of-00030.safetensors` `model-00011-of-00030.safetensors` `model-00012-of-00030.safetensors` `model-00013-of-00030.safetensors` `model-00014-of-00030.safetensors` `model-00015-of-00030.safetensors` `model-00016-of-00030.safetensors` `model-00017-of-00030.safetensors` `model-00018-of-00030.safetensors` `model-00019-of-00030.safetensors` `model-00020-of-00030.safetensors` `model-00021-of-00030.safetensors` `model-00022-of-00030.safetensors` `model-00023-of-00030.safetensors` `model-00024-of-00030.safetensors` `model-00025-of-00030.safetensors` `model-00026-of-00030.safetensors` `model-00027-of-00030.safetensors` `model-00028-of-00030.safetensors` `model-00029-of-00030.safetensors` `model-00030-of-00030.safetensors`	141.107.497.872 (131,42 GiB / 141,11 GB)	`vllm, sglang, unspecified`	`file-metadata`
INT4 theoretical	Nenhum arquivo publicado	35.276.853.248 (Linhas teóricas não são artefactos descarregáveis.)	—	theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização	2.048 tokens	8.192 tokens	32.768 tokens
Official BF16 safetensors	132,67 GiB–134,56 GiB	134,54 GiB–136,49 GiB	142,04 GiB–144,22 GiB
INT4 theoretical Linhas teóricas não são artefactos descarregáveis.	33,60 GiB–43,62 GiB	35,48 GiB–45,97 GiB	42,98 GiB–55,20 GiB

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (8), não query heads (64).

8,192 tokens, 1 sequence, FP16: 2.684.354.560 bytes (2,5000 GiB)
32,768 tokens: 10.737.418.240 bytes (10,00 GiB)

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Llama 3.3 70B Instruct model card (Meta) — Context length 128k, GQA, Llama 3.3 Community License. Parameters as printed on the card.
Meta llama-models sku_list.py (architecture arguments) — arch_args dim=8192, n_layers=80, n_heads=64, n_kv_heads=8. head_dim is dim ÷ n_heads = 128 (Meta's reference model derives it that way; sku_list.py has no head_dim key). The Hugging Face config.json is gated (HTTP 401), so it was not read.
Hugging Face API — sha 6f6073b423013f6a7d4d9f39144961bfbfbc386b; gated manual; safetensors.total=70553706496; 30 safetensors siblings.
Cross-check only: GGUF header of a community conversion (not an official source) — Header read with an HTTP range request on 2026-10-18; it agrees with Meta's numbers: block_count 80, head_count 64, head_count_kv 8, embedding_length 8192, context_length 131072, key_length 128. The catalog values above come from Meta, not from this file.
Hugging Face model page — Gated (manual). Llama 3.3 Community License applies; this page states facts only and does not redistribute the weights.

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 131072 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Os bytes de pesos vêm de 30 shards safetensors publicados, somando 141107497872 bytes.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
O tipo da KV é independente da quantização dos pesos, a menos que você mude.

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.