Qwen3.8-Flash-Next em DGX Spark (GB10): Apertado, Estimativa grosseira

Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão. Configuração desta página: GGUF Q4_K_M (bartowski), 8.192 tokens em cache, 1 sequência, motor llama.cpp. Status: Apertado. Software: Não verificado..

ApertadoNão verificadoEste resultado é uma estimativa, não um rastreio medido.

Configuração fixa da página

ModeloQwen3.8-Flash-Next
HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
QuantizaçãoGGUF Q4_K_M (bartowski)
Tamanho de contexto (tokens em cache)8.192
Motor de execuçãollama.cpp
Sequências simultâneas1
Tipo do cache KVfp16

Identificadores técnicos e dados de compartilhamento

Modeloqwen3.8-flash-next
Hardwarenvidia-dgx-spark-128gb-unified
Quantizaçãogguf-q4_k_m
Fragmento para compartilhar esta identidadev2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLjgtZmxhc2gtbmV4dCIsImhhcmR3YXJlSWQiOiJudmlkaWEtZGd4LXNwYXJrLTEyOGdiLXVuaWZpZWQiLCJkZXZpY2VDb3VudCI6MSwicXVhbnRpemF0aW9uSWQiOiJnZ3VmLXE0X2tfbSIsImNvbnRleHRUb2tlbnMiOjgxOTIsImNvbmN1cnJlbnRTZXF1ZW5jZXMiOjEsImVuZ2luZSI6ImxsYW1hLmNwcCIsImt2VHlwZSI6ImZwMTYifX0

Composição da memória

Weight artifact: 111,39 GiB (119.599.030.080 bytes)
Raw KV cache: 0,19 GiB (201.326.592 bytes)
Engine extras / workspace: 0,18 GiB–19,95 GiB
Total estimated demand: 111,75 GiB–131,53 GiB
Net calculator budget: 112,00 GiB
OS / display reserve: 16,00 GiB
Remaining vs net budget: -19,53 GiB–0,25 GiB

estimativa alta 131,53 GiB contra 112,00 GiB líquidos

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Outros arquivos publicados neste dispositivo

Mesmo modelo, dispositivo e contexto (8.192 tokens, 1 sequência, KV em FP16). Cada linha é um conjunto de arquivos de pesos publicado com seu motor habitual, ordenado por memória.

Quantização	Motor de execução	Memória estimada	Ajuste
BF16 safetensors	`vllm`	336,14 GiB–388,73 GiB	Não cabe · Estimativa grosseira
GGUF Q8_0 (Unsloth)	`llama.cpp`	175,66 GiB–206,50 GiB	Não cabe · Estimativa grosseira
GGUF Q6_K (bartowski)	`llama.cpp`	156,93 GiB–184,53 GiB	Não cabe · Estimativa grosseira
GGUF Q5_K_M (bartowski)	`llama.cpp`	125,79 GiB–147,99 GiB	Não cabe · Estimativa grosseira
GGUF Q4_K_M (bartowski) Esta página	`llama.cpp`	111,75 GiB–131,53 GiB	Apertado · Estimativa grosseira

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 262144 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00001-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00002-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00003-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00004-of-00004.gguf.
Há componente de visão. Inferência só de texto não inclui encoder/projector.
Há pesos MTP/draft; só entram se ativados.

Abrir esta combinação na calculadora Cache KV

Páginas relacionadas

Fontes

Qwen3.8-Flash-Next model card — Layout híbrido. O offload de especialistas não está especificado, e os parâmetros ativos não são os pesos residentes. O tamanho do arquivo é o checkpoint empacotado.
config.json — revision de4b8e4d43b917e7706784d8bb445c9af86a3540
safetensors index — metadata.total_size=359999963128
Artifact repo unsloth/Qwen3.8-Flash-Next-GGUF
Artifact repo bartowski/Qwen3.8-Flash-Next-GGUF
NVIDIA DGX Spark product page — 128 GB de memória de sistema unificada e coerente. Isto não é VRAM dedicada. A reserva padrão cobre o sistema e outros processos. Vários Sparks não são um único pool.
NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; a partilha guarda essa identidade.

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.