Dá para rodar Qwen2.5-72B-Instruct em DGX Spark?
Sim, com folga Qwen2.5-72B-Instruct com Q4_K_M precisa de 43,61 GiB–44,98 GiB com contexto de 8.192 tokens. A DGX Spark (GB10) tem cerca de 112 GiB utilizáveis.
12 arquivos, 44,0 GB no total.
São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos
Quanta folga sobra
- Cabe mesmo com a janela completa do modelo, de 32.768 tokens.
- Um arquivo maior também cabe: GGUF Q8_0 (Qwen) precisa de cerca de 76,8 GiB (Roda com folga).
Outros arquivos nesta GPU
| Quantização | Tamanho do arquivo | Engine | Total | Ajuste |
|---|---|---|---|---|
| BF16 safetensors | 145,4 GB | vllm | 138,6 GiB–140,5 GiB | Não cabe |
| GGUF Q8_0 (Qwen) | 77,5 GB | llama.cpp | 74,8 GiB–76,8 GiB | Roda com folga |
| GGUF Q6_K (Qwen) | 59,9 GB | llama.cpp | 58,4 GiB–60,0 GiB | Roda com folga |
| GGUF Q5_K_M (Qwen) | 51,7 GB | llama.cpp | 50,8 GiB–52,3 GiB | Roda com folga |
| GGUF Q4_K_M Configuração atual | 44,0 GB | llama.cpp | 43,6 GiB–45,0 GiB | Roda com folga |
Mesmo contexto (8.192 tokens), um chat por vez, cada arquivo com sua engine habitual.
Configuração usada
- ModeloQwen2.5-72B-Instruct
- HardwareNVIDIA DGX Spark (GB10, 128 GB unified)
- QuantizaçãoGGUF Q4_K_M
- Tamanho de contexto (tokens em cache)8.192
- Motor de execução
llama.cpp - Sequências simultâneas1
- Tipo do cache KVfp16
Identificadores técnicos e dados de compartilhamento
- Modelo
qwen2.5-72b-instruct - Hardware
nvidia-dgx-spark-128gb-unified - Quantização
gguf-q4_k_m - Código para compartilhar esta configuração
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtNzJiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1kZ3gtc3BhcmstMTI4Z2ItdW5pZmllZCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Como este número é calculado
Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.
- Pesos (arquivo)
- 40,99 GiB (44.010.465.472 bytes)
- Cache KV
- 2,50 GiB (2.684.354.560 bytes)
- Buffers de execução
- 0,13 GiB–1,49 GiB
- Total
- 43,61 GiB–44,98 GiB
- Memória utilizável
- 112,00 GiB
- Reserva de sistema / tela
- 16,00 GiB
- Sobra
- 67,02 GiB–68,39 GiB
estimativa alta 44,98 GiB com 112,00 GiB disponíveis
A memória unificada é um único bloco compartilhado. A RAM do sistema não se soma a ela, e várias máquinas não formam um único bloco.
- O contexto pedido cabe na janela nativa de 32768 tokens.
- Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
- Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
- O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
- Os bytes de pesos vêm de 12 shards safetensors publicados, somando 44010465472 bytes.
- O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- A precisão do cache KV não depende da quantização dos pesos, a não ser que você mude.
Páginas relacionadas
Fontes
- Qwen2.5-72B-Instruct model card
- config.json — revision 495f39366efef23836d0cfae4fbe635880d2be31
- safetensors index — metadata.total_size=145412407296
- Artifact repo Qwen/Qwen2.5-72B-Instruct-GGUF
- NVIDIA DGX Spark product page — 128 GB de memória unificada, compartilhada entre CPU e GPU; não é VRAM dedicada. A reserva padrão cobre o sistema e outros processos. Vários Sparks não juntam a memória num bloco só.
- NVIDIA DGX Spark hardware docs — 128 GB LPDDR5x unified memory on the GB10 Superchip.
Calculadora
Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; o link de compartilhamento guarda essa identidade.
A carregar o snapshot do catálogo…
Escolha um modelo para ver quanta memória ele precisa.