Ling-3.1-flash: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. Official FP8 safetensors (F8_E4M3 experts + BF16 remainder): 535,61 GiB–618,24 GiB em 8.192 tokens, 1 sequência, KV FP16, vllm.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Publicador e procedência

FornecedorAnt Group / inclusionAI
Hugging FaceinclusionAI/Ling-3.1-flash
Revisiona4ccd6b45c002ddb236f9cb77d52cc427482bf19
Parâmetros totais572.120.680.768
Parâmetros ativos25.000.000.000
Camadas72
Heads de consulta64
Heads KV64 (hybrid)
Dimensão do head128
Contexto documentado262.144
Completudepartial · partial

Este MoE tem 572.120.680.768 parâmetros totais e 25.000.000.000 ativos. O compute ativo não é a residência dos pesos. A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact: 534,35 GiB (573.753.281.152 bytes)
Raw KV cache: 0,63 GiB (679.477.248 bytes)
Engine extras / workspace: 0,63 GiB–83,26 GiB
Total estimated demand: 535,61 GiB–618,24 GiB

Arquivos contados

Quantização	Arquivos contados	Bytes	Motor de execução	Evidência
Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) fp8 Calculadora: Official FP8 safetensors (F8_E4M3 experts + BF16 remainder)	54 shards safetensors Total de bytes selecionados: 573.753.281.152 (534,35 GiB / 573,75 GB) Primeiro shard: model-00001-of-00054.safetensors Último shard: model-00054-of-00054.safetensors Ver todos os 54 arquivos de shard `model-00001-of-00054.safetensors` `model-00002-of-00054.safetensors` `model-00003-of-00054.safetensors` `model-00004-of-00054.safetensors` `model-00005-of-00054.safetensors` `model-00006-of-00054.safetensors` `model-00007-of-00054.safetensors` `model-00008-of-00054.safetensors` `model-00009-of-00054.safetensors` `model-00010-of-00054.safetensors` `model-00011-of-00054.safetensors` `model-00012-of-00054.safetensors` `model-00013-of-00054.safetensors` `model-00014-of-00054.safetensors` `model-00015-of-00054.safetensors` `model-00016-of-00054.safetensors` `model-00017-of-00054.safetensors` `model-00018-of-00054.safetensors` `model-00019-of-00054.safetensors` `model-00020-of-00054.safetensors` `model-00021-of-00054.safetensors` `model-00022-of-00054.safetensors` `model-00023-of-00054.safetensors` `model-00024-of-00054.safetensors` `model-00025-of-00054.safetensors` `model-00026-of-00054.safetensors` `model-00027-of-00054.safetensors` `model-00028-of-00054.safetensors` `model-00029-of-00054.safetensors` `model-00030-of-00054.safetensors` `model-00031-of-00054.safetensors` `model-00032-of-00054.safetensors` `model-00033-of-00054.safetensors` `model-00034-of-00054.safetensors` `model-00035-of-00054.safetensors` `model-00036-of-00054.safetensors` `model-00037-of-00054.safetensors` `model-00038-of-00054.safetensors` `model-00039-of-00054.safetensors` `model-00040-of-00054.safetensors` `model-00041-of-00054.safetensors` `model-00042-of-00054.safetensors` `model-00043-of-00054.safetensors` `model-00044-of-00054.safetensors` `model-00045-of-00054.safetensors` `model-00046-of-00054.safetensors` `model-00047-of-00054.safetensors` `model-00048-of-00054.safetensors` `model-00049-of-00054.safetensors` `model-00050-of-00054.safetensors` `model-00051-of-00054.safetensors` `model-00052-of-00054.safetensors` `model-00053-of-00054.safetensors` `model-00054-of-00054.safetensors`	573.753.281.152 (534,35 GiB / 573,75 GB)	`sglang, vllm, unspecified`	`file-metadata`
INT4 theoretical	Nenhum arquivo publicado	286.060.340.384 (Linhas teóricas não são artefactos descarregáveis.)	—	theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização	2.048 tokens	8.192 tokens	32.768 tokens
Official FP8 safetensors (F8_E4M3 experts + BF16 remainder)	535,13 GiB–617,59 GiB	535,61 GiB–618,24 GiB	537,51 GiB–620,82 GiB
INT4 theoretical Linhas teóricas não são artefactos descarregáveis.	266,70 GiB–343,93 GiB	267,17 GiB–344,61 GiB	269,07 GiB–347,30 GiB

Cache KV (dados brutos)

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Ling-3.1-flash model card — MIT license. Card: 560B total / 25B active, 1M-token context, hybrid-linear MoE, 63 KDA + 9 Gated MLA (7:1), 4 dense layers, 512 routed experts, 8 activated, 1 shared, 64 heads, hidden 4096. Official serving: 8× H200 TP8+EP8; 4× GB300 TP4+EP4.
config.json — revision a4ccd6b45c002ddb236f9cb77d52cc427482bf19; model_type bailing_hybrid; num_hidden_layers 72; num_attention_heads 64; num_key_value_heads 64; head_dim 128; hidden_size 4096; max_position_embeddings 262144; num_experts 512; num_experts_per_tok 8; num_shared_experts 1; kv_lora_rank 512; q_lora_rank 1536; num_nextn_predict_layers 1; quantization_config fp8 e4m3 block 128×128.
safetensors index — metadata.total_size=573753281152
Hugging Face API — sha a4ccd6b45c002ddb236f9cb77d52cc427482bf19; gated false; safetensors.total=572120680768; sibling safetensors sum 573,781,078,249 bytes.
SGLang Ling-3.1-flash cookbook — Linked from the official model card for H200, GB300, H800, H100, and B200 recipes.
Ant Ling developer docs — Table: 560B parameters, 25B activated, 256K served context, 1M window cap.

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 262144 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Este MoE tem 572120680768 parâmetros totais e 25000000000 ativos. O compute ativo não é a residência dos pesos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Os bytes de pesos vêm de 54 shards safetensors publicados, somando 573753281152 bytes.
Há pesos MTP/draft; só entram se ativados.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.