Qwen2.5-7B-Instruct roda em GeForce RTX 4060 8GB (desktop)?

Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão.

Popular 7B local setup on an 8GB card.

Configuração desta página: gguf-q4_k_m, 8.192 tokens em cache, 1 sequência, motor llama.cpp.

Status: Provavelmente cabe. Software: Suporte documentado.

Pesos 4,36 GiB · KV bruta 0,44 GiB · total 4,92 GiB–5,42 GiB.

Orçamento disponível 7,00 GiB após a reserva padrão.

Esta página é uma estimativa, salvo uma medição residente correspondente.

A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
O tipo da KV é independente da quantização dos pesos, a menos que você mude.
Usando 4 heads KV, não 28 de consulta.

Avalie um modelo e um dispositivo específicos, com condições.

ModeloHardwareQuantizaçãoTamanho de contexto (tokens em cache)Sequências simultâneas

Configurações avançadas

Tipo do cache KVMotor de execuçãoForma de implantaçãoQuantidade de dispositivosCenário de overhead em tempo de execuçãoReserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurançaBits efetivos por parâmetro (personalizado) Incluir área de trabalho mais pesada no prefillUnidade de exibição

Estrutura de modelo personalizada

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Estimativa

Provavelmente cabe

Nas premissas atuais, o máximo estimado fica abaixo de 90% do orçamento disponível.

Faixa estimada de memória: 4,92 GiB – 5,42 GiB

Os pesos usam metadados dos arquivos escolhidos. O extra de execução continua estimado.

Pesos4,36 GiB

Cache KV (dados brutos)0,44 GiB

Extras de KV (metadados de quantização etc.)0,00 GiB

Ativações / área de trabalho0,06 GiB

Reserva do motor0,06 GiB

Margem de segurança0,00 GiB

Orçamento disponível: 7,00 GiB · Restante após a estimativa: 1,58 GiB – 2,08 GiB

Compatibilidade de software

Suporte documentado. Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Premissas que afetam o resultado

A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
O tipo da KV é independente da quantização dos pesos, a menos que você mude.
Usando 4 heads KV, não 28 de consulta.
O pico de prefill e a decodificação estável não são iguais. O cenário alto fica mais perto do prefill.
A reserva do motor não é o uso real de pesos e KV.
Os buffers do llama.cpp crescem com contexto e batch. São cenários ajustáveis, não medições — salvo uma calibração correspondente.
A RAM do host não entra sozinha na VRAM discreta.

Método de cálculo