Qwen2.5-7B-Instruct roda em GeForce RTX 4090 24GB (desktop)?

Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão.

Same 7B model in BF16 on 24GB shows the quantization gap.

Configuração desta página: bf16, 8.192 tokens em cache, 1 sequência, motor vllm.

Status: Provavelmente cabe. Software: Suporte documentado.

Pesos 14,19 GiB · KV bruta 0,44 GiB · total 15,25 GiB–17,14 GiB.

Orçamento disponível 22,00 GiB após a reserva padrão.

Esta página é uma estimativa, salvo uma medição residente correspondente.

A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: model.safetensors.index.json metadata.total_size.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
O tipo da KV é independente da quantização dos pesos, a menos que você mude.
Usando 4 heads KV, não 28 de consulta.

Avalie um modelo e um dispositivo específicos, com condições.

ModeloHardwareQuantizaçãoTamanho de contexto (tokens em cache)Sequências simultâneas

Configurações avançadas

Tipo do cache KVMotor de execuçãoForma de implantaçãoQuantidade de dispositivosCenário de overhead em tempo de execuçãoReserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurançaBits efetivos por parâmetro (personalizado) Incluir área de trabalho mais pesada no prefillUnidade de exibição

Estrutura de modelo personalizada

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Estimativa

Provavelmente cabe

Nas premissas atuais, o máximo estimado fica abaixo de 90% do orçamento disponível.

Faixa estimada de memória: 15,25 GiB – 17,14 GiB

Os pesos usam metadados dos arquivos escolhidos. O extra de execução continua estimado.

Pesos14,19 GiB

Cache KV (dados brutos)0,44 GiB

Extras de KV (metadados de quantização etc.)0,00 GiB

Ativações / área de trabalho0,13 GiB

Reserva do motor0,50 GiB

Margem de segurança0,00 GiB

Orçamento disponível: 22,00 GiB · Restante após a estimativa: 4,86 GiB – 6,75 GiB

Compatibilidade de software

Suporte documentado. Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Premissas que afetam o resultado

A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: model.safetensors.index.json metadata.total_size.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
O tipo da KV é independente da quantização dos pesos, a menos que você mude.
Usando 4 heads KV, não 28 de consulta.
O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
A reserva do motor não é o uso real de pesos e KV.
vLLM costuma pré-alocar KV da GPU restante. Aqui entra a KV necessária mais extras de CUDA/grafo, não o resto que o alocador pega.
O alinhamento de blocos do PagedAttention pode somar um pouco acima da KV crua.
A RAM do host não entra sozinha na VRAM discreta.

Método de cálculo