Dá para rodar Phi-3.5-mini-instruct em RTX 4060?

Não Phi-3.5-mini-instruct com BF16 precisa de 10,74 GiB–12,71 GiB com contexto de 8.192 tokens. A RTX 4060 tem cerca de 7 GiB utilizáveis.

2 arquivos, 7,6 GB no total.

São estimativas a partir da config do modelo e do tamanho dos arquivos, não medições. Como calculamos

O que mudar

Outros arquivos nesta GPU

QuantizaçãoTamanho do arquivoEngineTotalAjuste
BF16 safetensors Configuração atual7,6 GBvllm10,7 GiB–12,7 GiBNão cabe
GGUF Q8_0 (bartowski)4,1 GBllama.cpp6,9 GiB–7,6 GiBApertado
GGUF Q6_K (bartowski)3,1 GBllama.cpp6,0 GiB–6,7 GiBApertado
GGUF Q5_K_M (bartowski)2,8 GBllama.cpp5,7 GiB–6,4 GiBApertado
GGUF Q4_K_M (bartowski)2,4 GBllama.cpp5,4 GiB–6,0 GiBCabe

Mesmo contexto (8.192 tokens), um chat por vez, cada arquivo com sua engine habitual.

Configuração usada

Identificadores técnicos e dados de compartilhamento
  • Modelophi-3.5-mini-instruct
  • Hardwarenvidia-geforce-rtx-4060-8gb-desktop
  • Quantizaçãobf16
  • Código para compartilhar esta configuraçãov2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InBoaS0zLjUtbWluaS1pbnN0cnVjdCIsImhhcmR3YXJlSWQiOiJudmlkaWEtZ2Vmb3JjZS1ydHgtNDA2MC04Z2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJ2bGxtIiwia3ZUeXBlIjoiZnAxNiJ9fQ
Como este número é calculado

Total = arquivo de pesos + cache KV + buffers de execução. A faixa vai do overhead baixo ao alto da engine mostrada.

Pesos (arquivo)
7,12 GiB (7.642.159.104 bytes)
Cache KV
3,00 GiB (3.221.225.472 bytes)
Buffers de execução
0,63 GiB–2,59 GiB
Total
10,74 GiB–12,71 GiB
Memória utilizável
7,00 GiB
Reserva de sistema / tela
1,00 GiB
Sobra
-5,71 GiB–-3,74 GiB

estimativa alta 12,71 GiB com 7,00 GiB disponíveis

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

  • O contexto pedido cabe na janela nativa de 131072 tokens.
  • Os pesos carregados são estimados com o total de parâmetros, incluindo especialistas MoE inativos.
  • Só contam os arquivos de pesos escolhidos, não todas as quantizações do repositório.
  • O tamanho do download não é o pico de memória da GPU. Layout em execução, alinhamento do alocador e cache KV vêm por cima.
  • Arquivos contados: model-00001-of-00002.safetensors, model-00002-of-00002.safetensors.
  • O tamanho de contexto é o número de tokens em cache por sequência (entrada mais a saída reservada).
  • Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
  • A precisão do cache KV não depende da quantização dos pesos, a não ser que você mude.
Abrir esta combinação na calculadoraCache KV

Páginas relacionadas

Fontes

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; o link de compartilhamento guarda essa identidade.

A carregar o snapshot do catálogo…

Tamanho do contexto

Mais contexto precisa de mais memória para o cache KV, a memória de trabalho do modelo para a conversa.

Mais opções
Quantização
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Escolha um modelo para ver quanta memória ele precisa.