GeForce RTX 4060 Ti 16GB (desktop)

Estimativa

Provavelmente cabe

Nas premissas atuais, o máximo estimado fica abaixo de 90% do orçamento disponível.

Faixa estimada de memória: 4,92 GiB – 5,42 GiB

Os pesos usam metadados dos arquivos escolhidos. O extra de execução continua estimado.

Orçamento disponível: 15,00 GiB · Restante após a estimativa: 9,58 GiB – 10,08 GiB

Compatibilidade de software

Suporte documentado. Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Premissas que afetam o resultado

• A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
• Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
• O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
• Arquivos contados: qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf.
• O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
• Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
• O tipo da KV é independente da quantização dos pesos, a menos que você mude.
• Usando 4 heads KV, não 28 de consulta.
• O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
• A reserva do motor não é o uso real de pesos e KV.
• Os buffers do llama.cpp crescem com contexto e batch. São cenários ajustáveis, não medições — salvo uma calibração correspondente.
• A RAM do host não entra sozinha na VRAM discreta.

Método de cálculo