Ling-3.1-flash: VRAM- und Speicherbedarf
Konkrete Checkpoints mit belegter Struktur und ausgewählten Gewichtungsdateien. Official FP8 safetensors (F8_E4M3 experts + BF16 remainder): 535,61 GiB–618,24 GiB bei 8.192 Tokens, 1 Sequenz, FP16-KV, vllm.
Das Ergebnis ist eine Schätzung, keine Messung.Nicht geprüftDateigestützte Gewichte
Herausgeber und Herkunft
- AnbieterAnt Group / inclusionAI
- Hugging Face
inclusionAI/Ling-3.1-flash - Revision
a4ccd6b45c002ddb236f9cb77d52cc427482bf19 - Parameter gesamt572.120.680.768
- Aktive Parameter25.000.000.000
- Schichten72
- Query-Köpfe64
- KV-Köpfe64 (hybrid)
- Kopfdimension128
- Dokumentierte Kontextfähigkeit262.144
- Vollständigkeitpartial · partial
Dieses MoE nennt 572.120.680.768 Gesamt- und 25.000.000.000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz. Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
Speicherschichten in dieser Schätzung
Datei-Bytes, rohes KV, Engine-Zusätze und Gesamtbedarf stehen getrennt. Das ist keine Laufzeitspur.
- Weight artifact
- 534,35 GiB (573.753.281.152 bytes)
- Raw KV cache
- 0,63 GiB (679.477.248 bytes)
- Engine extras / workspace
- 0,63 GiB–83,26 GiB
- Total estimated demand
- 535,61 GiB–618,24 GiB
Gewählte Dateien
| Quantisierung | Gewählte Dateien | Bytes | Laufzeit | Beleg |
|---|---|---|---|---|
| Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) fp8 | 573.753.281.152 (534,35 GiB / 573,75 GB) | sglang, vllm, unspecified | file-metadata | |
| INT4 theoretical | Keine veröffentlichte Datei | 286.060.340.384 (Theoretische Zeilen sind keine herunterladbaren Artefakte.) | — | theoretical |
Speicher nach Quantisierung und Kontext
Gleichzeitige Sequenzen = 1. KV ist standardmäßig FP16. Die Spanne enthält dokumentierte Laufzeit-Zusätze der genannten Engine. Die Zahlen nutzen denselben Kern wie der interaktive Rechner.
| Quantisierung | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) | 535,13 GiB–617,59 GiB | 535,61 GiB–618,24 GiB | 537,51 GiB–620,82 GiB |
| INT4 theoretical Theoretische Zeilen sind keine herunterladbaren Artefakte. | 266,70 GiB–343,93 GiB | 267,17 GiB–344,61 GiB | 269,07 GiB–347,30 GiB |
KV-Cache (Rohdaten)
Verwandte Seiten
Quellen
- Ling-3.1-flash model card — MIT license. Card: 560B total / 25B active, 1M-token context, hybrid-linear MoE, 63 KDA + 9 Gated MLA (7:1), 4 dense layers, 512 routed experts, 8 activated, 1 shared, 64 heads, hidden 4096. Official serving: 8× H200 TP8+EP8; 4× GB300 TP4+EP4.
- config.json — revision a4ccd6b45c002ddb236f9cb77d52cc427482bf19; model_type bailing_hybrid; num_hidden_layers 72; num_attention_heads 64; num_key_value_heads 64; head_dim 128; hidden_size 4096; max_position_embeddings 262144; num_experts 512; num_experts_per_tok 8; num_shared_experts 1; kv_lora_rank 512; q_lora_rank 1536; num_nextn_predict_layers 1; quantization_config fp8 e4m3 block 128×128.
- safetensors index — metadata.total_size=573753281152
- Hugging Face API — sha a4ccd6b45c002ddb236f9cb77d52cc427482bf19; gated false; safetensors.total=572120680768; sibling safetensors sum 573,781,078,249 bytes.
- SGLang Ling-3.1-flash cookbook — Linked from the official model card for H200, GB300, H800, H100, and B200 recipes.
- Ant Ling developer docs — Table: 560B parameters, 25B activated, 256K served context, 1M window cap.
Annahmen, die das Ergebnis beeinflussen
- Der Kontext liegt im dokumentierten nativen Fenster von 262144 Tokens.
- Die vollständige Residenzschätzung nutzt die Gesamtparameter, inklusive inaktiver MoE-Experten.
- Dieses MoE nennt 572120680768 Gesamt- und 25000000000 aktive Parameter. Die aktive Rechenmenge ist nicht die Gewichtresidenz.
- Gewichtbytes kommen nur von den gewählten Dateien, nicht von allen Quantisierungen im Repository.
- Die Downloadgröße ist nicht der GPU-Spitzenspeicher. Layout, Allocator und KV kommen extra.
- Gewichtbytes stammen aus 54 veröffentlichten Safetensors-Shards, zusammen 573753281152 Bytes.
- MTP-/Draft-Gewichte existieren und zählen nur wenn aktiviert.
- Das Kontextbudget ist die Zahl gecachter Tokens je Sequenz (Prompt plus reservierte Generierung).
Rechner
Katalog-Snapshot wird geladen…
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.
Suchen oder ein Katalogmodell wählen, um den VRAM-Bedarf zu sehen.