Llama-3.1-Nemotron-70B-Instruct-HF: requisitos de VRAM y memoria

Puntos de control concretos, con arquitectura y archivos de pesos con fuente. GGUF Q4_K_M (bartowski): 42,23 GiB–43,57 GiB a 8192 tokens, 1 secuencia, KV FP16, llama.cpp.

Este resultado es una estimación, no una traza medida.No verificadoPesos con archivo

Dónde corre

Editor y procedencia

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact
39,60 GiB (42.520.398.752 bytes)
Raw KV cache
2,50 GiB (2.684.354.560 bytes)
Engine extras / workspace
0,13 GiB–1,47 GiB
Total estimated demand
42,23 GiB–43,57 GiB

Archivos contados

CuantizaciónArchivos contadosBytesMotorEvidencia
BF16 safetensors
bf16
30 fragmentos safetensors
Bytes seleccionados en total: 141.107.412.992 (131,42 GiB / 141,11 GB)
Primer fragmento: model-00001-of-00030.safetensors
Último fragmento: model-00030-of-00030.safetensors
Ver los 30 archivos de fragmentos
  • model-00001-of-00030.safetensors
  • model-00002-of-00030.safetensors
  • model-00003-of-00030.safetensors
  • model-00004-of-00030.safetensors
  • model-00005-of-00030.safetensors
  • model-00006-of-00030.safetensors
  • model-00007-of-00030.safetensors
  • model-00008-of-00030.safetensors
  • model-00009-of-00030.safetensors
  • model-00010-of-00030.safetensors
  • model-00011-of-00030.safetensors
  • model-00012-of-00030.safetensors
  • model-00013-of-00030.safetensors
  • model-00014-of-00030.safetensors
  • model-00015-of-00030.safetensors
  • model-00016-of-00030.safetensors
  • model-00017-of-00030.safetensors
  • model-00018-of-00030.safetensors
  • model-00019-of-00030.safetensors
  • model-00020-of-00030.safetensors
  • model-00021-of-00030.safetensors
  • model-00022-of-00030.safetensors
  • model-00023-of-00030.safetensors
  • model-00024-of-00030.safetensors
  • model-00025-of-00030.safetensors
  • model-00026-of-00030.safetensors
  • model-00027-of-00030.safetensors
  • model-00028-of-00030.safetensors
  • model-00029-of-00030.safetensors
  • model-00030-of-00030.safetensors
141.107.412.992 (131,42 GiB / 141,11 GB)vllm, sglang, unspecifiedfile-metadata
GGUF Q4_K_M (bartowski)
gguf-q4_k_m
Llama-3.1-Nemotron-70B-Instruct-HF-Q4_K_M.gguf42.520.398.752 (39,60 GiB / 42,52 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (bartowski)
gguf-q5_k_m
Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M/Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M-00001-of-00002.gguf, Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M/Llama-3.1-Nemotron-70B-Instruct-HF-Q5_K_M-00002-of-00002.gguf49.949.822.016 (46,52 GiB / 49,95 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (bartowski)
gguf-q6_k
Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K/Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K-00001-of-00002.gguf, Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K/Llama-3.1-Nemotron-70B-Instruct-HF-Q6_K-00002-of-00002.gguf57.888.148.576 (53,91 GiB / 57,89 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (bartowski)
gguf-q8_0
Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0/Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0-00001-of-00002.gguf, Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0/Llama-3.1-Nemotron-70B-Instruct-HF-Q8_0-00002-of-00002.gguf74.975.054.944 (69,83 GiB / 74,98 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNo hay archivo publicado35.276.853.248 (Las filas teóricas no son artefactos descargables.)—theoretical

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Cuantización2048 tokens8192 tokens32.768 tokens
BF16 safetensors132,67 GiB–134,56 GiB134,54 GiB–136,49 GiB142,04 GiB–144,22 GiB
GGUF Q4_K_M (bartowski)40,35 GiB–41,53 GiB42,23 GiB–43,57 GiB49,73 GiB–51,59 GiB
GGUF Q5_K_M (bartowski)47,27 GiB–48,59 GiB49,14 GiB–50,62 GiB56,64 GiB–58,65 GiB
GGUF Q6_K (bartowski)54,66 GiB–56,13 GiB56,54 GiB–58,17 GiB64,04 GiB–66,19 GiB
GGUF Q8_0 (bartowski)70,58 GiB–72,36 GiB72,45 GiB–74,40 GiB79,95 GiB–82,42 GiB
INT4 theoretical
Las filas teóricas no son artefactos descargables.
33,60 GiB–43,62 GiB35,48 GiB–45,97 GiB42,98 GiB–55,20 GiB

Caché KV (datos brutos)

El KV bruto de GQA/MHA es 2 × capas × kvHeads × headDim × tokens × secuencias × bytes por elemento. Esta página usa KV heads (8), no query heads (64).

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Hipótesis que afectan al resultado

Calculadora

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Cuantización

Tipo de dispositivo

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados
Ejecución

Motor y tipo de caché KV de esta estimación.

Carga

Escenario de sobrecarga y el espacio de prellenado.

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Se analiza en el navegador. El archivo no se sube.

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.