Phi-3.5-mini-instruct roda em GeForce RTX 4060 8GB (desktop)?
Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão.
Small dense model on 8GB, including long-context KV pressure.
Configuração desta página: bf16, 8.192 tokens em cache, 1 sequência, motor vllm.
Status: Memória insuficiente. Software: Suporte documentado.
Pesos 7,12 GiB · KV bruta 3,00 GiB · total 10,74 GiB–12,71 GiB.
Orçamento disponível 7,00 GiB após a reserva padrão.
Esta página é uma estimativa, salvo uma medição residente correspondente.
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: model.safetensors.index.json metadata.total_size.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- O tipo da KV é independente da quantização dos pesos, a menos que você mude.
- O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
Estimativa
Memória insuficiente
Mesmo o mínimo estimado passa do orçamento disponível.
Faixa estimada de memória: 10,74 GiB – 12,71 GiB
Os pesos usam metadados dos arquivos escolhidos. O extra de execução continua estimado.
Orçamento disponível: 7,00 GiB · Restante após a estimativa: -5,71 GiB – -3,74 GiB
Compatibilidade de software
Suporte documentado. Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
Premissas que afetam o resultado
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: model.safetensors.index.json metadata.total_size.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- O tipo da KV é independente da quantização dos pesos, a menos que você mude.
- O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
- A reserva do motor não é o uso real de pesos e KV.
- vLLM costuma pré-alocar KV da GPU restante. Aqui entra a KV necessária mais extras de CUDA/grafo, não o resto que o alocador pega.
- O alinhamento de blocos do PagedAttention pode somar um pouco acima da KV crua.
- A RAM do host não entra sozinha na VRAM discreta.