Roda com folga: VRAM necessária 21,20 GiB para Qwen3.8-27B em DGX Spark (GB10), Estimativa grosseira

Roda com folga. VRAM necessária 17,61 GiB–21,20 GiB em DGX Spark (GB10) (128 GB LPDDR5x coherent unified system memory) contra 112,00 GiB líquidos. GGUF UD-Q4_K_M (Unsloth), 32.768 tokens. Estimativa grosseira 128 GB LPDDR5x coherent unified system memory não é VRAM discreta.

Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão. Configuração desta página: GGUF UD-Q4_K_M (Unsloth), 32.768 tokens em cache, 1 sequência, motor llama.cpp. Status: Provavelmente cabe. Software: Não verificado..

Provavelmente cabeNão verificadoEste resultado é uma estimativa, não um rastreio medido.

Configuração fixa da página

ModeloQwen3.8-27B
HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
QuantizaçãoGGUF UD-Q4_K_M (Unsloth)
Tamanho de contexto (tokens em cache)32.768
Motor de execuçãollama.cpp
Sequências simultâneas1
Tipo do cache KVfp16

Identificadores técnicos e dados de compartilhamento

Modeloqwen3.8-27b
Hardwarenvidia-dgx-spark-128gb-unified
Quantizaçãogguf-ud-q4_k_m
Fragmento para compartilhar esta identidadev2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLjgtMjdiIiwiaGFyZHdhcmVJZCI6Im52aWRpYS1kZ3gtc3BhcmstMTI4Z2ItdW5pZmllZCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtdWQtcTRfa19tIiwiY29udGV4dFRva2VucyI6MzI3NjgsImNvbmN1cnJlbnRTZXF1ZW5jZXMiOjEsImVuZ2luZSI6ImxsYW1hLmNwcCIsImt2VHlwZSI6ImZwMTYifX0

Composição da memória

Weight artifact: 15,33 GiB (16.464.440.224 bytes)
Raw KV cache: 2,00 GiB (2.147.483.648 bytes)
Engine extras / workspace: 0,27 GiB–3,87 GiB
Total estimated demand: 17,61 GiB–21,20 GiB
Net calculator budget: 112,00 GiB
OS / display reserve: 16,00 GiB
Remaining vs net budget: 90,80 GiB–94,39 GiB

estimativa alta 21,20 GiB contra 112,00 GiB líquidos

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Outros arquivos publicados neste dispositivo

Mesmo modelo, dispositivo e contexto (32.768 tokens, 1 sequência, KV em FP16). Cada linha é um conjunto de arquivos de pesos publicado com seu motor habitual, ordenado por memória.

Mostrar os 28 arquivos publicados

Quantização	Motor de execução	Memória estimada	Ajuste
BF16 safetensors	`vllm`	54,52 GiB–64,93 GiB	Roda com folga · Estimativa grosseira
GGUF BF16 (Unsloth)	`llama.cpp`	53,18 GiB–62,93 GiB	Roda com folga · Estimativa grosseira
GGUF UD-Q8_K_XL (Unsloth)	`llama.cpp`	31,57 GiB–37,58 GiB	Roda com folga · Estimativa grosseira
GGUF Q8_0 (Unsloth)	`llama.cpp`	29,33 GiB–34,95 GiB	Roda com folga · Estimativa grosseira
GGUF Q8_0 (mradermacher)	`llama.cpp`	29,33 GiB–34,95 GiB	Roda com folga · Estimativa grosseira
GGUF UD-Q6_K_XL (Unsloth)	`llama.cpp`	25,83 GiB–30,86 GiB	Roda com folga · Estimativa grosseira
GGUF Q6_K (mradermacher)	`llama.cpp`	23,16 GiB–27,72 GiB	Roda com folga · Estimativa grosseira
GGUF UD-Q5_K_M (Unsloth)	`llama.cpp`	20,69 GiB–24,82 GiB	Roda com folga · Estimativa grosseira
GGUF Q5_K_M (mradermacher)	`llama.cpp`	20,47 GiB–24,56 GiB	Roda com folga · Estimativa grosseira
GGUF Q5_K_S (mradermacher)	`llama.cpp`	19,94 GiB–23,94 GiB	Roda com folga · Estimativa grosseira
GGUF UD-Q4_K_XL (Unsloth)	`llama.cpp`	18,63 GiB–22,40 GiB	Roda com folga · Estimativa grosseira
GGUF Q4_1 (Unsloth)	`llama.cpp`	18,61 GiB–22,38 GiB	Roda com folga · Estimativa grosseira
GGUF Q4_K_M (mradermacher)	`llama.cpp`	17,93 GiB–21,58 GiB	Roda com folga · Estimativa grosseira
GGUF UD-Q4_K_M (Unsloth) Esta página	`llama.cpp`	17,61 GiB–21,20 GiB	Roda com folga · Estimativa grosseira
GGUF Q4_0 (Unsloth)	`llama.cpp`	17,23 GiB–20,76 GiB	Roda com folga · Estimativa grosseira
GGUF Q4_K_S (mradermacher)	`llama.cpp`	17,01 GiB–20,51 GiB	Roda com folga · Estimativa grosseira
GGUF IQ4_XS (mradermacher)	`llama.cpp`	16,63 GiB–20,06 GiB	Roda com folga · Estimativa grosseira
GGUF Q3_K_L (mradermacher)	`llama.cpp`	15,83 GiB–19,12 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ4_XS (Unsloth)	`llama.cpp`	15,55 GiB–18,79 GiB	Roda com folga · Estimativa grosseira
GGUF Q3_K_M (mradermacher)	`llama.cpp`	14,85 GiB–17,97 GiB	Roda com folga · Estimativa grosseira
GGUF Q3_K_S (mradermacher)	`llama.cpp`	13,69 GiB–16,61 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ3_S (Unsloth)	`llama.cpp`	13,49 GiB–16,37 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ3_XXS (Unsloth)	`llama.cpp`	12,46 GiB–15,16 GiB	Roda com folga · Estimativa grosseira
GGUF Q2_K (mradermacher)	`llama.cpp`	12,39 GiB–15,09 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ2_S (Unsloth)	`llama.cpp`	10,07 GiB–12,36 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ2_XXS (Unsloth)	`llama.cpp`	9,04 GiB–11,16 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ1_M (Unsloth)	`llama.cpp`	8,54 GiB–10,57 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ1_S (Unsloth)	`llama.cpp`	8,04 GiB–9,98 GiB	Roda com folga · Estimativa grosseira

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 262144 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: Qwen3.8-27B-UD-Q4_K_M.gguf.
Há componente de visão. Inferência só de texto não inclui encoder/projector.
Há pesos MTP/draft; só entram se ativados.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).

Abrir esta combinação na calculadora Cache KV

Páginas relacionadas

Fontes

Qwen3.8-27B model card
config.json — revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0
safetensors index — metadata.total_size=55562855904
Artifact repo unsloth/Qwen3.8-27B-GGUF
Artifact repo mradermacher/Qwen3.8-27B-GGUF
NVIDIA DGX Spark product page — 128 GB de memória de sistema unificada e coerente. Isto não é VRAM dedicada. A reserva padrão cobre o sistema e outros processos. Vários Sparks não são um único pool.
NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; a partilha guarda essa identidade.

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.