Mixtral-8x7B-Instruct-v0.1 roda em GeForce RTX 4090 24GB (desktop)?
Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão.
Mixtral BF16 needs far more than 24GB despite 12.9B active params.
Configuração desta página: bf16, 4.096 tokens em cache, 1 sequência, motor vllm.
Status: Memória insuficiente. Software: Suporte documentado.
Pesos 86,99 GiB · KV bruta 0,50 GiB · total 88,12 GiB–90,01 GiB.
Orçamento disponível 22,00 GiB após a reserva padrão.
Esta página é uma estimativa, salvo uma medição residente correspondente.
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- Este MoE tem 46700000000 parâmetros totais e 12900000000 ativos. O compute ativo não é a residência dos pesos.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: model.safetensors.index.json metadata.total_size.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- O tipo da KV é independente da quantização dos pesos, a menos que você mude.
Estimativa
Memória insuficiente
Mesmo o mínimo estimado passa do orçamento disponível.
Faixa estimada de memória: 88,12 GiB – 90,01 GiB
Os pesos usam metadados dos arquivos escolhidos. O extra de execução continua estimado.
Orçamento disponível: 22,00 GiB · Restante após a estimativa: -68,01 GiB – -66,12 GiB
Compatibilidade de software
Suporte documentado. Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
Premissas que afetam o resultado
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- Este MoE tem 46700000000 parâmetros totais e 12900000000 ativos. O compute ativo não é a residência dos pesos.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: model.safetensors.index.json metadata.total_size.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- O tipo da KV é independente da quantização dos pesos, a menos que você mude.
- Usando 8 heads KV, não 32 de consulta.
- O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
- A reserva do motor não é o uso real de pesos e KV.
- vLLM costuma pré-alocar KV da GPU restante. Aqui entra a KV necessária mais extras de CUDA/grafo, não o resto que o alocador pega.
- O alinhamento de blocos do PagedAttention pode somar um pouco acima da KV crua.
- A RAM do host não entra sozinha na VRAM discreta.