Muse Spark Open: requisitos de VRAM e memória

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. Official NVFP4 safetensors: 498,97 GiB–500,90 GiB em 8.192 tokens, 1 sequência, KV FP16, vllm.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Publicador e procedência

FornecedorMeta
Hugging Facemeta-models/Muse-Spark-Open-816B-A42B
Revision0fb02478b02565b2ce7fc57e6051c91172774ac9
Parâmetros totais822.036.529.664
Parâmetros ativos42.000.000.000
Camadas62
Heads de consulta128
Heads KV16 (gqa)
Dimensão do head64
Contexto documentado1.048.576
Completudepartial · partial

Este MoE tem 822.036.529.664 parâmetros totais e 42.000.000.000 ativos. O compute ativo não é a residência dos pesos. A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact: 496,41 GiB (533.011.023.472 bytes)
Raw KV cache: 1,94 GiB (2.080.374.784 bytes)
Engine extras / workspace: 0,63 GiB–2,56 GiB
Total estimated demand: 498,97 GiB–500,90 GiB

Arquivos contados

Quantização	Arquivos contados	Bytes	Motor de execução	Evidência
Official BF16 safetensors bf16 Calculadora: Official BF16 safetensors	65 shards safetensors Total de bytes selecionados: 1.644.333.393.864 (1.531,40 GiB / 1.644,33 GB) Primeiro shard: model-00001-of-00065.safetensors Último shard: model-00065-of-00065.safetensors Ver todos os 65 arquivos de shard `model-00001-of-00065.safetensors` `model-00002-of-00065.safetensors` `model-00003-of-00065.safetensors` `model-00004-of-00065.safetensors` `model-00005-of-00065.safetensors` `model-00006-of-00065.safetensors` `model-00007-of-00065.safetensors` `model-00008-of-00065.safetensors` `model-00009-of-00065.safetensors` `model-00010-of-00065.safetensors` `model-00011-of-00065.safetensors` `model-00012-of-00065.safetensors` `model-00013-of-00065.safetensors` `model-00014-of-00065.safetensors` `model-00015-of-00065.safetensors` `model-00016-of-00065.safetensors` `model-00017-of-00065.safetensors` `model-00018-of-00065.safetensors` `model-00019-of-00065.safetensors` `model-00020-of-00065.safetensors` `model-00021-of-00065.safetensors` `model-00022-of-00065.safetensors` `model-00023-of-00065.safetensors` `model-00024-of-00065.safetensors` `model-00025-of-00065.safetensors` `model-00026-of-00065.safetensors` `model-00027-of-00065.safetensors` `model-00028-of-00065.safetensors` `model-00029-of-00065.safetensors` `model-00030-of-00065.safetensors` `model-00031-of-00065.safetensors` `model-00032-of-00065.safetensors` `model-00033-of-00065.safetensors` `model-00034-of-00065.safetensors` `model-00035-of-00065.safetensors` `model-00036-of-00065.safetensors` `model-00037-of-00065.safetensors` `model-00038-of-00065.safetensors` `model-00039-of-00065.safetensors` `model-00040-of-00065.safetensors` `model-00041-of-00065.safetensors` `model-00042-of-00065.safetensors` `model-00043-of-00065.safetensors` `model-00044-of-00065.safetensors` `model-00045-of-00065.safetensors` `model-00046-of-00065.safetensors` `model-00047-of-00065.safetensors` `model-00048-of-00065.safetensors` `model-00049-of-00065.safetensors` `model-00050-of-00065.safetensors` `model-00051-of-00065.safetensors` `model-00052-of-00065.safetensors` `model-00053-of-00065.safetensors` `model-00054-of-00065.safetensors` `model-00055-of-00065.safetensors` `model-00056-of-00065.safetensors` `model-00057-of-00065.safetensors` `model-00058-of-00065.safetensors` `model-00059-of-00065.safetensors` `model-00060-of-00065.safetensors` `model-00061-of-00065.safetensors` `model-00062-of-00065.safetensors` `model-00063-of-00065.safetensors` `model-00064-of-00065.safetensors` `model-00065-of-00065.safetensors`	1.644.333.393.864 (1.531,40 GiB / 1.644,33 GB)	`sglang, vllm, unspecified`	`file-metadata`
Official NVFP4 safetensors nvfp4 Calculadora: Official NVFP4 safetensors	127 shards safetensors Total de bytes selecionados: 533.011.023.472 (496,41 GiB / 533,01 GB) Primeiro shard: model-00001-of-00127.safetensors Último shard: model-00127-of-00127.safetensors Ver todos os 127 arquivos de shard `model-00001-of-00127.safetensors` `model-00002-of-00127.safetensors` `model-00003-of-00127.safetensors` `model-00004-of-00127.safetensors` `model-00005-of-00127.safetensors` `model-00006-of-00127.safetensors` `model-00007-of-00127.safetensors` `model-00008-of-00127.safetensors` `model-00009-of-00127.safetensors` `model-00010-of-00127.safetensors` `model-00011-of-00127.safetensors` `model-00012-of-00127.safetensors` `model-00013-of-00127.safetensors` `model-00014-of-00127.safetensors` `model-00015-of-00127.safetensors` `model-00016-of-00127.safetensors` `model-00017-of-00127.safetensors` `model-00018-of-00127.safetensors` `model-00019-of-00127.safetensors` `model-00020-of-00127.safetensors` `model-00021-of-00127.safetensors` `model-00022-of-00127.safetensors` `model-00023-of-00127.safetensors` `model-00024-of-00127.safetensors` `model-00025-of-00127.safetensors` `model-00026-of-00127.safetensors` `model-00027-of-00127.safetensors` `model-00028-of-00127.safetensors` `model-00029-of-00127.safetensors` `model-00030-of-00127.safetensors` `model-00031-of-00127.safetensors` `model-00032-of-00127.safetensors` `model-00033-of-00127.safetensors` `model-00034-of-00127.safetensors` `model-00035-of-00127.safetensors` `model-00036-of-00127.safetensors` `model-00037-of-00127.safetensors` `model-00038-of-00127.safetensors` `model-00039-of-00127.safetensors` `model-00040-of-00127.safetensors` `model-00041-of-00127.safetensors` `model-00042-of-00127.safetensors` `model-00043-of-00127.safetensors` `model-00044-of-00127.safetensors` `model-00045-of-00127.safetensors` `model-00046-of-00127.safetensors` `model-00047-of-00127.safetensors` `model-00048-of-00127.safetensors` `model-00049-of-00127.safetensors` `model-00050-of-00127.safetensors` `model-00051-of-00127.safetensors` `model-00052-of-00127.safetensors` `model-00053-of-00127.safetensors` `model-00054-of-00127.safetensors` `model-00055-of-00127.safetensors` `model-00056-of-00127.safetensors` `model-00057-of-00127.safetensors` `model-00058-of-00127.safetensors` `model-00059-of-00127.safetensors` `model-00060-of-00127.safetensors` `model-00061-of-00127.safetensors` `model-00062-of-00127.safetensors` `model-00063-of-00127.safetensors` `model-00064-of-00127.safetensors` `model-00065-of-00127.safetensors` `model-00066-of-00127.safetensors` `model-00067-of-00127.safetensors` `model-00068-of-00127.safetensors` `model-00069-of-00127.safetensors` `model-00070-of-00127.safetensors` `model-00071-of-00127.safetensors` `model-00072-of-00127.safetensors` `model-00073-of-00127.safetensors` `model-00074-of-00127.safetensors` `model-00075-of-00127.safetensors` `model-00076-of-00127.safetensors` `model-00077-of-00127.safetensors` `model-00078-of-00127.safetensors` `model-00079-of-00127.safetensors` `model-00080-of-00127.safetensors` `model-00081-of-00127.safetensors` `model-00082-of-00127.safetensors` `model-00083-of-00127.safetensors` `model-00084-of-00127.safetensors` `model-00085-of-00127.safetensors` `model-00086-of-00127.safetensors` `model-00087-of-00127.safetensors` `model-00088-of-00127.safetensors` `model-00089-of-00127.safetensors` `model-00090-of-00127.safetensors` `model-00091-of-00127.safetensors` `model-00092-of-00127.safetensors` `model-00093-of-00127.safetensors` `model-00094-of-00127.safetensors` `model-00095-of-00127.safetensors` `model-00096-of-00127.safetensors` `model-00097-of-00127.safetensors` `model-00098-of-00127.safetensors` `model-00099-of-00127.safetensors` `model-00100-of-00127.safetensors` `model-00101-of-00127.safetensors` `model-00102-of-00127.safetensors` `model-00103-of-00127.safetensors` `model-00104-of-00127.safetensors` `model-00105-of-00127.safetensors` `model-00106-of-00127.safetensors` `model-00107-of-00127.safetensors` `model-00108-of-00127.safetensors` `model-00109-of-00127.safetensors` `model-00110-of-00127.safetensors` `model-00111-of-00127.safetensors` `model-00112-of-00127.safetensors` `model-00113-of-00127.safetensors` `model-00114-of-00127.safetensors` `model-00115-of-00127.safetensors` `model-00116-of-00127.safetensors` `model-00117-of-00127.safetensors` `model-00118-of-00127.safetensors` `model-00119-of-00127.safetensors` `model-00120-of-00127.safetensors` `model-00121-of-00127.safetensors` `model-00122-of-00127.safetensors` `model-00123-of-00127.safetensors` `model-00124-of-00127.safetensors` `model-00125-of-00127.safetensors` `model-00126-of-00127.safetensors` `model-00127-of-00127.safetensors`	533.011.023.472 (496,41 GiB / 533,01 GB)	`sglang, vllm, unspecified`	`file-metadata`
INT4 theoretical	Nenhum arquivo publicado	411.018.264.832 (Linhas teóricas não são artefactos descarregáveis.)	—	theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização	2.048 tokens	8.192 tokens	32.768 tokens
Official BF16 safetensors	1.532,51 GiB–1.534,40 GiB	1.533,97 GiB–1.535,90 GiB	1.539,78 GiB–1.541,89 GiB
Official NVFP4 safetensors	497,51 GiB–499,40 GiB	498,97 GiB–500,90 GiB	504,78 GiB–506,89 GiB
INT4 theoretical Linhas teóricas não são artefactos descarregáveis.	383,40 GiB–494,18 GiB	384,85 GiB–495,99 GiB	390,67 GiB–503,15 GiB

Cache KV (dados brutos)

O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (16), não query heads (128).

8,192 tokens, 1 sequence, FP16: 2.080.374.784 bytes (1,9375 GiB)
32,768 tokens: 8.321.499.136 bytes (7,7500 GiB)

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Muse Spark Open model card — Gated (manual). Card: 816B total / 42B active, 1M context, MoE transformer with Perception Encoder, 62 layers, GQA 128 Q / 16 KV, head dim 64, hidden 8192, 256 experts top-8, vocab 202,048. Open weights require at least 700 GB VRAM for NVFP4 and 2 TB for BF16. Optimized for two Mac Studios with M5 Ultra using MLX.
Hugging Face API (BF16) — sha 0fb02478b02565b2ce7fc57e6051c91172774ac9; gated manual; safetensors.total=822036529664; 65 safetensors siblings sum 1644333393864 bytes. config.json HTTP 401.
Hugging Face API (NVFP4) — sha 4239e4db19376904f2e82c167e78f70abb5455fe; 127 safetensors siblings sum 533011023472 bytes.
Meta Get the model — BF16 about 1.65 TB, TP8/EP8 on 8 × B300. NVFP4 about 537 GB, TP4/EP4 on 4 × B300.
Meta research blog — 2026-10-15. Two Apple M5 Ultra Mac Studios; 512 GB unified memory per Studio; 1.2 TB/s bandwidth quoted by Meta.
PyTorch blog — Open weights 2026-10-15 under the Muse Model License. 816B total / 42B active, 1M context.

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 1048576 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Este MoE tem 822036529664 parâmetros totais e 42000000000 ativos. O compute ativo não é a residência dos pesos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Os bytes de pesos vêm de 127 shards safetensors publicados, somando 533011023472 bytes.
Há componente de visão. Inferência só de texto não inclui encoder/projector.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.