Dá para rodar Qwen2.5-7B-Instruct em RX 7900 XTX?
Sim, com folga Qwen2.5-7B-Instruct com Q4_K_M precisa de 4,92 GiB–5,42 GiB com contexto de 8.192 tokens. A RX 7900 XTX tem cerca de 22 GiB utilizáveis.
2 arquivos, 4,7 GB no total.
São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos
Quanta folga sobra
- Cabe mesmo com a janela completa do modelo, de 32.768 tokens.
- Um arquivo maior também cabe: BF16 safetensors precisa de cerca de 17,1 GiB (Cabe).
Outros arquivos nesta GPU
| Quantização | Tamanho do arquivo | Engine | Total | Ajuste |
|---|---|---|---|---|
| BF16 safetensors | 15,2 GB | vllm | 15,2 GiB–17,1 GiB | Cabe |
| GGUF Q8_0 | 8,1 GB | llama.cpp | 8,1 GiB–8,7 GiB | Roda com folga |
| GGUF Q6_K (Qwen) | 6,3 GB | llama.cpp | 6,4 GiB–6,9 GiB | Roda com folga |
| GGUF Q5_K_M | 5,4 GB | llama.cpp | 5,6 GiB–6,1 GiB | Roda com folga |
| GGUF Q4_K_M Configuração atual | 4,7 GB | llama.cpp | 4,9 GiB–5,4 GiB | Roda com folga |
Mesmo contexto (8.192 tokens), um chat por vez, cada arquivo com sua engine habitual.
Configuração usada
- ModeloQwen2.5-7B-Instruct
- HardwareRadeon RX 7900 XTX 24GB (desktop)
- QuantizaçãoGGUF Q4_K_M
- Tamanho de contexto (tokens em cache)8.192
- Motor de execução
llama.cpp - Sequências simultâneas1
- Tipo do cache KVfp16
Identificadores técnicos e dados de compartilhamento
- Modelo
qwen2.5-7b-instruct - Hardware
amd-radeon-rx-7900-xtx-24gb-desktop - Quantização
gguf-q4_k_m - Código para compartilhar esta configuração
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtN2ItaW5zdHJ1Y3QiLCJoYXJkd2FyZUlkIjoiYW1kLXJhZGVvbi1yeC03OTAwLXh0eC0yNGdiLWRlc2t0b3AiLCJkZXZpY2VDb3VudCI6MSwicXVhbnRpemF0aW9uSWQiOiJnZ3VmLXE0X2tfbSIsImNvbnRleHRUb2tlbnMiOjgxOTIsImNvbmN1cnJlbnRTZXF1ZW5jZXMiOjEsImVuZ2luZSI6ImxsYW1hLmNwcCIsImt2VHlwZSI6ImZwMTYifX0
Como este número é calculado
Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.
- Pesos (arquivo)
- 4,36 GiB (4.683.073.632 bytes)
- Cache KV
- 0,44 GiB (469.762.048 bytes)
- Buffers de execução
- 0,13 GiB–0,62 GiB
- Total
- 4,92 GiB–5,42 GiB
- Memória utilizável
- 22,00 GiB
- Reserva de sistema / tela
- 2,00 GiB
- Sobra
- 16,58 GiB–17,08 GiB
estimativa alta 5,42 GiB com 22,00 GiB disponíveis
Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
- O contexto pedido cabe na janela nativa de 32768 tokens.
- Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
- Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
- O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
- Arquivos contados: qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf.
- O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- A precisão do cache KV não depende da quantização dos pesos, a não ser que você mude.
Páginas relacionadas
Fontes
- Qwen2.5-7B-Instruct model card
- config.json — revision a09a35458c702b33eeacc393d103063234e8bc28
- safetensors index — metadata.total_size=15231233024
- Artifact repo Qwen/Qwen2.5-7B-Instruct-GGUF
- AMD Radeon RX 7900 XTX — Max Memory Size 24 GB GDDR6
Calculadora
Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; o link de compartilhamento guarda essa identidade.
A carregar o snapshot do catálogo…
Escolha um modelo para ver quanta memória ele precisa.