Llama-3.1-Nemotron-70B-Instruct-HF: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (bartowski): 42,23 GiB–43,57 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Roda em

Publicador e procedência

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact
39,60 GiB (42.520.398.752 bytes)
Raw KV cache
2,50 GiB (2.684.354.560 bytes)
Engine extras / workspace
0,13 GiB–1,47 GiB
Total estimated demand
42,23 GiB–43,57 GiB

Arquivos contados

QuantizaçãoArquivos contadosBytesMotor de execuçãoEvidência
BF16 safetensors
bf16
30 shards safetensors
Total de bytes selecionados: 141.107.412.992 (131,42 GiB / 141,11 GB)
Primeiro shard: model-00001-of-00030.safetensors
Último shard: model-00030-of-00030.safetensors
Ver todos os 30 arquivos de shard
  • model-00001-of-00030.safetensors
  • model-00002-of-00030.safetensors
  • model-00003-of-00030.safetensors
  • model-00004-of-00030.safetensors
  • model-00005-of-00030.safetensors
  • model-00006-of-00030.safetensors
  • model-00007-of-00030.safetensors
  • model-00008-of-00030.safetensors
  • model-00009-of-00030.safetensors
  • model-00010-of-00030.safetensors
  • model-00011-of-00030.safetensors
  • model-00012-of-00030.safetensors
  • model-00013-of-00030.safetensors
  • model-00014-of-00030.safetensors
  • model-00015-of-00030.safetensors
  • model-00016-of-00030.safetensors
  • model-00017-of-00030.safetensors
  • model-00018-of-00030.safetensors
  • model-00019-of-00030.safetensors
  • model-00020-of-00030.safetensors
  • model-00021-of-00030.safetensors
  • model-00022-of-00030.safetensors
  • model-00023-of-00030.safetensors
  • model-00024-of-00030.safetensors
  • model-00025-of-00030.safetensors
  • model-00026-of-00030.safetensors
  • model-00027-of-00030.safetensors
  • model-00028-of-00030.safetensors
  • model-00029-of-00030.safetensors
  • model-00030-of-00030.safetensors
141.107.412.992 (131,42 GiB / 141,11 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q4_K_M (bartowski)
gguf-q4_k_m
Llama-3.1-Nemotron-70B-Instruct-HF-Q4_K_M.gguf42.520.398.752 (39,60 GiB / 42,52 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (bartowski)
gguf-q5_k_m
Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M/Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M-00001-of-00002.gguf, Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M/Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M-00002-of-00002.gguf49.949.822.016 (46,52 GiB / 49,95 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (bartowski)
gguf-q6_k
Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K/Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K-00001-of-00002.gguf, Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K/Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K-00002-of-00002.gguf57.888.148.576 (53,91 GiB / 57,89 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (bartowski)
gguf-q8_0
Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0/Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0-00001-of-00002.gguf, Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0/Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0-00002-of-00002.gguf74.975.054.944 (69,83 GiB / 74,98 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNenhum arquivo publicado35.276.853.248 (Linhas teóricas não são artefactos descarregáveis.)—theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização2.048 tokens8.192 tokens32.768 tokens
BF16 safetensors132,67 GiB–134,56 GiB134,54 GiB–136,49 GiB142,04 GiB–144,22 GiB
GGUF Q4_K_M (bartowski)40,35 GiB–41,53 GiB42,23 GiB–43,57 GiB49,73 GiB–51,59 GiB
GGUF Q5_K_M (bartowski)47,27 GiB–48,59 GiB49,14 GiB–50,62 GiB56,64 GiB–58,65 GiB
GGUF Q6_K (bartowski)54,66 GiB–56,13 GiB56,54 GiB–58,17 GiB64,04 GiB–66,19 GiB
GGUF Q8_0 (bartowski)70,58 GiB–72,36 GiB72,45 GiB–74,40 GiB79,95 GiB–82,42 GiB
INT4 theoretical
Linhas teóricas não são artefactos descarregáveis.
33,60 GiB–43,62 GiB35,48 GiB–45,97 GiB42,98 GiB–55,20 GiB

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (8), não query heads (64).

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Premissas que afetam o resultado

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Quantização

Tipo de dispositivo

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.