Ling-3.1-flash: requisitos de VRAM y memoria

Puntos de control concretos, con arquitectura y archivos de pesos con fuente. Official FP8 safetensors (F8_E4M3 experts + BF16 remainder): 535,61 GiB–618,24 GiB a 8192 tokens, 1 secuencia, KV FP16, vllm.

Este resultado es una estimación, no una traza medida.No verificadoPesos con archivo

Editor y procedencia

ProveedorAnt Group / inclusionAI
Hugging FaceinclusionAI/Ling-3.1-flash
Revisiona4ccd6b45c002ddb236f9cb77d52cc427482bf19
Parámetros totales572.120.680.768
Parámetros activos25.000.000.000
Capas72
Cabezas de consulta64
Cabezas KV64 (hybrid)
Dimensión de cabeza128
Contexto documentado262.144
Integridadpartial · partial

Este MoE declara 572.120.680.768 parámetros totales y 25.000.000.000 activos. El cómputo activo no es la residencia de pesos. La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.

Capas de memoria de esta estimación

Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.

Weight artifact: 534,35 GiB (573.753.281.152 bytes)
Raw KV cache: 0,63 GiB (679.477.248 bytes)
Engine extras / workspace: 0,63 GiB–83,26 GiB
Total estimated demand: 535,61 GiB–618,24 GiB

Archivos contados

Cuantización	Archivos contados	Bytes	Motor	Evidencia
Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) fp8 Calculadora: Official FP8 safetensors (F8_E4M3 experts + BF16 remainder)	54 fragmentos safetensors Bytes seleccionados en total: 573.753.281.152 (534,35 GiB / 573,75 GB) Primer fragmento: model-00001-of-00054.safetensors Último fragmento: model-00054-of-00054.safetensors Ver los 54 archivos de fragmentos `model-00001-of-00054.safetensors` `model-00002-of-00054.safetensors` `model-00003-of-00054.safetensors` `model-00004-of-00054.safetensors` `model-00005-of-00054.safetensors` `model-00006-of-00054.safetensors` `model-00007-of-00054.safetensors` `model-00008-of-00054.safetensors` `model-00009-of-00054.safetensors` `model-00010-of-00054.safetensors` `model-00011-of-00054.safetensors` `model-00012-of-00054.safetensors` `model-00013-of-00054.safetensors` `model-00014-of-00054.safetensors` `model-00015-of-00054.safetensors` `model-00016-of-00054.safetensors` `model-00017-of-00054.safetensors` `model-00018-of-00054.safetensors` `model-00019-of-00054.safetensors` `model-00020-of-00054.safetensors` `model-00021-of-00054.safetensors` `model-00022-of-00054.safetensors` `model-00023-of-00054.safetensors` `model-00024-of-00054.safetensors` `model-00025-of-00054.safetensors` `model-00026-of-00054.safetensors` `model-00027-of-00054.safetensors` `model-00028-of-00054.safetensors` `model-00029-of-00054.safetensors` `model-00030-of-00054.safetensors` `model-00031-of-00054.safetensors` `model-00032-of-00054.safetensors` `model-00033-of-00054.safetensors` `model-00034-of-00054.safetensors` `model-00035-of-00054.safetensors` `model-00036-of-00054.safetensors` `model-00037-of-00054.safetensors` `model-00038-of-00054.safetensors` `model-00039-of-00054.safetensors` `model-00040-of-00054.safetensors` `model-00041-of-00054.safetensors` `model-00042-of-00054.safetensors` `model-00043-of-00054.safetensors` `model-00044-of-00054.safetensors` `model-00045-of-00054.safetensors` `model-00046-of-00054.safetensors` `model-00047-of-00054.safetensors` `model-00048-of-00054.safetensors` `model-00049-of-00054.safetensors` `model-00050-of-00054.safetensors` `model-00051-of-00054.safetensors` `model-00052-of-00054.safetensors` `model-00053-of-00054.safetensors` `model-00054-of-00054.safetensors`	573.753.281.152 (534,35 GiB / 573,75 GB)	`sglang, vllm, unspecified`	`file-metadata`
INT4 theoretical	No hay archivo publicado	286.060.340.384 (Las filas teóricas no son artefactos descargables.)	—	theoretical

Memoria por cuantización y contexto

Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.

Cuantización	2048 tokens	8192 tokens	32.768 tokens
Official FP8 safetensors (F8_E4M3 experts + BF16 remainder)	535,13 GiB–617,59 GiB	535,61 GiB–618,24 GiB	537,51 GiB–620,82 GiB
INT4 theoretical Las filas teóricas no son artefactos descargables.	266,70 GiB–343,93 GiB	267,17 GiB–344,61 GiB	269,07 GiB–347,30 GiB

Caché KV (datos brutos)

Abrir la calculadora con este modelo

Páginas relacionadas

Fuentes

Ling-3.1-flash model card — MIT license. Card: 560B total / 25B active, 1M-token context, hybrid-linear MoE, 63 KDA + 9 Gated MLA (7:1), 4 dense layers, 512 routed experts, 8 activated, 1 shared, 64 heads, hidden 4096. Official serving: 8× H200 TP8+EP8; 4× GB300 TP4+EP4.
config.json — revision a4ccd6b45c002ddb236f9cb77d52cc427482bf19; model_type bailing_hybrid; num_hidden_layers 72; num_attention_heads 64; num_key_value_heads 64; head_dim 128; hidden_size 4096; max_position_embeddings 262144; num_experts 512; num_experts_per_tok 8; num_shared_experts 1; kv_lora_rank 512; q_lora_rank 1536; num_nextn_predict_layers 1; quantization_config fp8 e4m3 block 128×128.
safetensors index — metadata.total_size=573753281152
Hugging Face API — sha a4ccd6b45c002ddb236f9cb77d52cc427482bf19; gated false; safetensors.total=572120680768; sibling safetensors sum 573,781,078,249 bytes.
SGLang Ling-3.1-flash cookbook — Linked from the official model card for H200, GB300, H800, H100, and B200 recipes.
Ant Ling developer docs — Table: 560B parameters, 25B activated, 256K served context, 1M window cap.

Hipótesis que afectan al resultado

El contexto pedido cabe en la ventana nativa de 262144 tokens.
La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
Este MoE declara 572120680768 parámetros totales y 25000000000 activos. El cómputo activo no es la residencia de pesos.
Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
Los bytes de pesos provienen de 54 fragmentos safetensors publicados que suman 573753281152 bytes.
Hay pesos MTP/draft; no entran salvo que se activen.
El contexto es el número de tokens en caché por secuencia (entrada más generación reservada).

Calculadora

Cargando la instantánea del catálogo…

Elige primero un modelo y después revisa el equipo.

Modelo

Mostrar modelos históricos

Cuantización

Tipo de dispositivo

Hardware

Carga

La longitud de contexto afecta sobre todo a la memoria de la caché KV.

Ajustes avanzados

Ejecución

Motor y tipo de caché KV de esta estimación.

MotorTipo de caché KVDtype de estado recurrente / conv Incluir estimaciones teóricas (experto) Permitir un sustituto si el filtro no tiene coincidencia

Carga

Escenario de sobrecarga y el espacio de prellenado.

Escenario de sobrecoste en tiempo de ejecución Incluir un espacio de trabajo de prefill más pesado

Topología

Cómo se reparte el modelo entre dispositivos. La memoria no se suma.

DesplieguePartición intra-réplicaNúmero de dispositivos

El número de réplicas es avanzado. La cantidad son nodos o GPUs, no réplicas.

Grupos de réplicasDispositivos por réplica

Presupuesto

Reserva del sistema y margen de seguridad. Un número vacío conserva el valor anterior.

Reserva para sistema / pantalla

GiB (2^30 bytes)

El presupuesto ya descuenta la reserva del sistemaMargen de seguridad extra

Bits efectivos por parámetro (personalizado)Unidad de visualización

Modelo personalizado

Importe una config o escriba la arquitectura. No se escanea nada hasta importar.

Importar config.json local

Se analiza en el navegador. El archivo no se sube.

Repo público de Hugging FaceRevisión

Solo huggingface.co, solo config.json, sin token. Se rechazan repos privados.

Parámetros totalesParámetros activosCapasCabezas de consultaCabezas KVDimensión de cabeza

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.

Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.