Mixtral-8x7B-Instruct-v0.1
Mistral AI · mistralai/Mixtral-8x7B-Instruct-v0.1 · gqa · full
| Quantização | 2.048 | 8.192 | 32.768 |
|---|---|---|---|
| BF16 safetensors | 87,30 GiB–87,87 GiB | 88,05 GiB–88,62 GiB | 91,05 GiB–91,62 GiB |
| INT4 theoretical | 22,06 GiB–24,80 GiB | 22,81 GiB–25,55 GiB | 25,81 GiB–28,55 GiB |
Estimativa
Indeterminado
Falta orçamento ou dado essencial, ou este modo de implantação não pode ser julgado nesta versão.
Faixa estimada de memória: 88,12 GiB – 90,30 GiB
Os pesos usam metadados dos arquivos escolhidos. O extra de execução continua estimado.
Compatibilidade de software
Não verificado. Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.
- Caber na memória não prova que motor, quantização e sistema operacional funcionam juntos.
Premissas que afetam o resultado
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- Este MoE tem 46700000000 parâmetros totais e 12900000000 ativos. O compute ativo não é a residência dos pesos.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: model.safetensors.index.json metadata.total_size.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
- O tipo da KV é independente da quantização dos pesos, a menos que você mude.
- Usando 8 heads KV, não 32 de consulta.
- O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
- A reserva do motor não é o uso real de pesos e KV.
- Os buffers do llama.cpp crescem com contexto e batch. São cenários ajustáveis, não medições — salvo uma calibração correspondente.