Dá para rodar Qwen3-32B em H100?
No limite Qwen3-32B com BF16 precisa de 69,65 GiB–71,76 GiB com contexto de 32.768 tokens. A H100 tem cerca de 78 GiB utilizáveis.
17 arquivos, 65,5 GB no total.
São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos
O que mudar
- Reduza o contexto para cerca de 25.600 tokens para caber com folga.
- Use GGUF Q8_0 (Qwen): cerca de 42,1 GiB com o mesmo contexto (Roda com folga).
- Feche outros programas que usam memória de GPU, ou reduza a reserva se a máquina roda sem tela.
Outros arquivos nesta GPU
| Quantização | Tamanho do arquivo | Engine | Total | Ajuste |
|---|---|---|---|---|
| BF16 safetensors Configuração atual | 65,5 GB | vllm | 69,6 GiB–71,8 GiB | Apertado |
| GGUF Q8_0 (Qwen) | 34,8 GB | llama.cpp | 40,6 GiB–42,1 GiB | Roda com folga |
| GGUF Q6_K (Qwen) | 26,9 GB | llama.cpp | 33,2 GiB–34,6 GiB | Roda com folga |
| GGUF Q5_K_M (Qwen) | 23,2 GB | llama.cpp | 29,7 GiB–31,1 GiB | Roda com folga |
| GGUF Q4_K_M | 19,8 GB | llama.cpp | 26,5 GiB–27,8 GiB | Roda com folga |
Mesmo contexto (32.768 tokens), um chat por vez, cada arquivo com sua engine habitual.
Configuração usada
- ModeloQwen3-32B
- HardwareNVIDIA H100 80GB SXM
- QuantizaçãoBF16 safetensors
- Tamanho de contexto (tokens em cache)32.768
- Motor de execução
vllm - Sequências simultâneas1
- Tipo do cache KVfp16
Identificadores técnicos e dados de compartilhamento
- Modelo
qwen3-32b - Hardware
nvidia-h100-80gb-sxm - Quantização
bf16 - Código para compartilhar esta configuração
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLTMyYiIsImhhcmR3YXJlSWQiOiJudmlkaWEtaDEwMC04MGdiLXN4bSIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjozMjc2OCwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoidmxsbSIsImt2VHlwZSI6ImZwMTYifX0
Como este número é calculado
Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.
- Pesos (arquivo)
- 61,02 GiB (65.524.246.528 bytes)
- Cache KV
- 8,00 GiB (8.589.934.592 bytes)
- Buffers de execução
- 0,63 GiB–2,74 GiB
- Total
- 69,65 GiB–71,76 GiB
- Memória utilizável
- 78,00 GiB
- Reserva de sistema / tela
- 2,00 GiB
- Sobra
- 6,24 GiB–8,35 GiB
estimativa alta 71,76 GiB com 78,00 GiB disponíveis
Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
- O contexto pedido cabe na janela nativa de 40960 tokens.
- Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
- Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
- O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
- Os bytes de pesos vêm de 17 shards safetensors publicados, somando 65524246528 bytes.
- O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- A precisão do cache KV não depende da quantização dos pesos, a não ser que você mude.
Páginas relacionadas
Fontes
- Qwen3-32B model card
- config.json — revision 9216db5781bf21249d130ec9da846c4624c16137
- safetensors index — metadata.total_size=65524246528
- Artifact repo Qwen/Qwen3-32B-GGUF
- NVIDIA H100 product page — H100 SXM GPU Memory 80GB
Calculadora
Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; o link de compartilhamento guarda essa identidade.
A carregar o snapshot do catálogo…
Escolha um modelo para ver quanta memória ele precisa.