Dá para rodar Mixtral-8x7B-Instruct-v0.1 em RTX 4090?

Não Mixtral-8x7B-Instruct-v0.1 com BF16 precisa de 88,12 GiB–90,01 GiB com contexto de 4.096 tokens. A RTX 4090 tem cerca de 22 GiB utilizáveis.

19 arquivos, 93,4 GB no total.

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

O que mudar

Outros arquivos nesta GPU

QuantizaçãoTamanho do arquivoEngineTotalAjuste
BF16 safetensors Configuração atual93,4 GBvllm88,1 GiB–90,0 GiBNão cabe
GGUF Q8_0 (mradermacher)49,6 GBllama.cpp46,8 GiB–48,2 GiBNão cabe
GGUF Q6_K (mradermacher)38,4 GBllama.cpp36,4 GiB–37,5 GiBNão cabe
GGUF Q5_K_M (mradermacher)33,2 GBllama.cpp31,6 GiB–32,6 GiBNão cabe
GGUF Q4_K_M (mradermacher)28,4 GBllama.cpp27,1 GiB–28,0 GiBNão cabe

Mesmo contexto (4.096 tokens), um chat por vez, cada arquivo com sua engine habitual.

Configuração usada

Identificadores técnicos e dados de compartilhamento
  • Modelomixtral-8x7b-instruct-v0.1
  • Hardwarenvidia-geforce-rtx-4090-24gb-desktop
  • Quantizaçãobf16
  • Código para compartilhar esta configuraçãov2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6Im1peHRyYWwtOHg3Yi1pbnN0cnVjdC12MC4xIiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC00MDkwLTI0Z2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjo0MDk2LCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJ2bGxtIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Como este número é calculado

Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.

Pesos (arquivo)
86,99 GiB (93.405.585.408 bytes)
Cache KV
0,50 GiB (536.870.912 bytes)
Buffers de execução
0,63 GiB–2,51 GiB
Total
88,12 GiB–90,01 GiB
Memória utilizável
22,00 GiB
Reserva de sistema / tela
2,00 GiB
Sobra
-68,01 GiB–-66,12 GiB

estimativa alta 90,01 GiB com 22,00 GiB disponíveis

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

  • O contexto pedido cabe na janela nativa de 32768 tokens.
  • Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
  • Este MoE tem 46702792704 parâmetros totais e 12900000000 ativos. O compute ativo não é a residência dos pesos.
  • Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
  • O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
  • Os bytes de pesos vêm de 19 shards safetensors publicados, somando 93405585408 bytes.
  • O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
  • Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
Abrir esta combinação na calculadoraCache KV

Páginas relacionadas

Fontes

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; o link de compartilhamento guarda essa identidade.

A carregar o snapshot do catálogo…

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções
Quantização
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Escolha um modelo para ver quanta memória ele precisa.