Cabe: VRAM necessária 19,36 GiB para Qwen3.8-27B em RTX 4090, Estimativa grosseira

Cabe. VRAM necessária 16,11 GiB–19,36 GiB em RTX 4090 (24 GB GDDR6X) contra 22,00 GiB líquidos. GGUF UD-Q4_K_M (Unsloth), 8.192 tokens. Estimativa grosseira

Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão. Configuração desta página: GGUF UD-Q4_K_M (Unsloth), 8.192 tokens em cache, 1 sequência, motor llama.cpp. Status: Provavelmente cabe. Software: Não verificado..

Provavelmente cabeNão verificadoEste resultado é uma estimativa, não um rastreio medido.

Configuração fixa da página

ModeloQwen3.8-27B
HardwareGeForce RTX 4090 24GB (desktop)
QuantizaçãoGGUF UD-Q4_K_M (Unsloth)
Tamanho de contexto (tokens em cache)8.192
Motor de execuçãollama.cpp
Sequências simultâneas1
Tipo do cache KVfp16

Identificadores técnicos e dados de compartilhamento

Modeloqwen3.8-27b
Hardwarenvidia-geforce-rtx-4090-24gb-desktop
Quantizaçãogguf-ud-q4_k_m
Fragmento para compartilhar esta identidadev2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLjgtMjdiIiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC00MDkwLTI0Z2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtdWQtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ

Composição da memória

Weight artifact: 15,33 GiB (16.464.440.224 bytes)
Raw KV cache: 0,50 GiB (536.870.912 bytes)
Engine extras / workspace: 0,27 GiB–3,53 GiB
Total estimated demand: 16,11 GiB–19,36 GiB
Net calculator budget: 22,00 GiB
OS / display reserve: 2,00 GiB
Remaining vs net budget: 2,64 GiB–5,89 GiB

estimativa alta 19,36 GiB contra 22,00 GiB líquidos

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Outros arquivos publicados neste dispositivo

Mesmo modelo, dispositivo e contexto (8.192 tokens, 1 sequência, KV em FP16). Cada linha é um conjunto de arquivos de pesos publicado com seu motor habitual, ordenado por memória.

Mostrar os 28 arquivos publicados

Quantização	Motor de execução	Memória estimada	Ajuste
BF16 safetensors	`vllm`	53,02 GiB–63,15 GiB	Não cabe · Estimativa grosseira
GGUF BF16 (Unsloth)	`llama.cpp`	51,68 GiB–61,08 GiB	Não cabe · Estimativa grosseira
GGUF UD-Q8_K_XL (Unsloth)	`llama.cpp`	30,07 GiB–35,74 GiB	Não cabe · Estimativa grosseira
GGUF Q8_0 (Unsloth)	`llama.cpp`	27,83 GiB–33,10 GiB	Não cabe · Estimativa grosseira
GGUF Q8_0 (mradermacher)	`llama.cpp`	27,83 GiB–33,10 GiB	Não cabe · Estimativa grosseira
GGUF UD-Q6_K_XL (Unsloth)	`llama.cpp`	24,33 GiB–29,01 GiB	Não cabe · Estimativa grosseira
GGUF Q6_K (mradermacher)	`llama.cpp`	21,66 GiB–25,88 GiB	Apertado · Estimativa grosseira
GGUF UD-Q5_K_M (Unsloth)	`llama.cpp`	19,19 GiB–22,97 GiB	Apertado · Estimativa grosseira
GGUF Q5_K_M (mradermacher)	`llama.cpp`	18,97 GiB–22,71 GiB	Apertado · Estimativa grosseira
GGUF Q5_K_S (mradermacher)	`llama.cpp`	18,44 GiB–22,10 GiB	Apertado · Estimativa grosseira
GGUF UD-Q4_K_XL (Unsloth)	`llama.cpp`	17,13 GiB–20,55 GiB	Apertado · Estimativa grosseira
GGUF Q4_1 (Unsloth)	`llama.cpp`	17,11 GiB–20,53 GiB	Apertado · Estimativa grosseira
GGUF Q4_K_M (mradermacher)	`llama.cpp`	16,43 GiB–19,74 GiB	Cabe · Estimativa grosseira
GGUF UD-Q4_K_M (Unsloth) Esta página	`llama.cpp`	16,11 GiB–19,36 GiB	Cabe · Estimativa grosseira
GGUF Q4_0 (Unsloth)	`llama.cpp`	15,73 GiB–18,91 GiB	Cabe · Estimativa grosseira
GGUF Q4_K_S (mradermacher)	`llama.cpp`	15,51 GiB–18,66 GiB	Cabe · Estimativa grosseira
GGUF IQ4_XS (mradermacher)	`llama.cpp`	15,13 GiB–18,22 GiB	Cabe · Estimativa grosseira
GGUF Q3_K_L (mradermacher)	`llama.cpp`	14,33 GiB–17,28 GiB	Cabe · Estimativa grosseira
GGUF UD-IQ4_XS (Unsloth)	`llama.cpp`	14,05 GiB–16,94 GiB	Cabe · Estimativa grosseira
GGUF Q3_K_M (mradermacher)	`llama.cpp`	13,35 GiB–16,12 GiB	Cabe · Estimativa grosseira
GGUF Q3_K_S (mradermacher)	`llama.cpp`	12,19 GiB–14,76 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ3_S (Unsloth)	`llama.cpp`	11,99 GiB–14,53 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ3_XXS (Unsloth)	`llama.cpp`	10,96 GiB–13,32 GiB	Roda com folga · Estimativa grosseira
GGUF Q2_K (mradermacher)	`llama.cpp`	10,89 GiB–13,24 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ2_S (Unsloth)	`llama.cpp`	8,57 GiB–10,52 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ2_XXS (Unsloth)	`llama.cpp`	7,54 GiB–9,31 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ1_M (Unsloth)	`llama.cpp`	7,04 GiB–8,72 GiB	Roda com folga · Estimativa grosseira
GGUF UD-IQ1_S (Unsloth)	`llama.cpp`	6,54 GiB–8,14 GiB	Roda com folga · Estimativa grosseira

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 262144 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: Qwen3.8-27B-UD-Q4_K_M.gguf.
Há componente de visão. Inferência só de texto não inclui encoder/projector.
Há pesos MTP/draft; só entram se ativados.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).

Abrir esta combinação na calculadora Cache KV

Páginas relacionadas

Fontes

Qwen3.8-27B model card
config.json — revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0
safetensors index — metadata.total_size=55562855904
Artifact repo unsloth/Qwen3.8-27B-GGUF
Artifact repo mradermacher/Qwen3.8-27B-GGUF
NVIDIA GeForce RTX 4090 product page — Standard Memory Config 24 GB GDDR6X

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; a partilha guarda essa identidade.

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.