Qwen3.8-27B: VRAM necessária 19,74 GiB

VRAM necessária 16,43 GiB–19,74 GiB. Qwen3.8-27B Q4_K_M em 8.192 tokens. Sem GPU, isto é demanda para rodar um LLM local, não se cabe. Estimativa grosseira

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (mradermacher): 16,43 GiB–19,74 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo1 configurações conhecidas

Configurações conhecidas que funcionam

1 configurações conhecidas

Implantações testadas pela comunidade e pelos mantenedores em hardware real, com contexto, quantização e runtime verificados.

Qwen3.8-27B
1× GeForce RTX 5090 32GB (desktop)
Medido pelo mantenedor original
Quantização:NVFP4 safetensors(4 bpw)
Runtime de execução:vLLM
Testado:
  • ✓ geração
  • ✓ 262,144 contexto
  • ✓ chamada de ferramentas
  • ✓ decodificação especulativa
Medido:160 tok/s· 1 fluxo

Implantação testada. O texto está em inglês.

Usar esta configuraçãoInício rápido (inglês)Fonte ↗

Roda em

Publicador e procedência

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact
15,66 GiB (16.810.714.848 bytes)
Raw KV cache
0,50 GiB (536.870.912 bytes)
Engine extras / workspace
0,27 GiB–3,58 GiB
Total estimated demand
16,43 GiB–19,74 GiB

Arquivos contados

QuantizaçãoArquivos contadosBytesMotor de execuçãoEvidência
BF16 safetensors
bf16
18 shards safetensors
Total de bytes selecionados: 55.562.855.904 (51,75 GiB / 55,56 GB)
Primeiro shard: model-00001-of-00018.safetensors
Último shard: model-00018-of-00018.safetensors
Ver todos os 18 arquivos de shard
  • model-00001-of-00018.safetensors
  • model-00002-of-00018.safetensors
  • model-00003-of-00018.safetensors
  • model-00004-of-00018.safetensors
  • model-00005-of-00018.safetensors
  • model-00006-of-00018.safetensors
  • model-00007-of-00018.safetensors
  • model-00008-of-00018.safetensors
  • model-00009-of-00018.safetensors
  • model-00010-of-00018.safetensors
  • model-00011-of-00018.safetensors
  • model-00012-of-00018.safetensors
  • model-00013-of-00018.safetensors
  • model-00014-of-00018.safetensors
  • model-00015-of-00018.safetensors
  • model-00016-of-00018.safetensors
  • model-00017-of-00018.safetensors
  • model-00018-of-00018.safetensors
55.562.855.904 (51,75 GiB / 55,56 GB)vllm, sglang, unspecifiedfile-metadata
GGUF UD-Q4_K_M (Unsloth)
gguf-ud-q4_k_m
Qwen3.8-27B-UD-Q4_K_M.gguf16.464.440.224 (15,33 GiB / 16,46 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (Unsloth)
gguf-q8_0
Qwen3.8-27B-Q8_0.gguf29.047.086.048 (27,05 GiB / 29,05 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_0 (Unsloth)
gguf-q4_0
Qwen3.8-27B-Q4_0.gguf16.056.478.688 (14,95 GiB / 16,06 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q5_K_M (Unsloth)
gguf-ud-q5_k_m
Qwen3.8-27B-UD-Q5_K_M.gguf19.771.509.664 (18,41 GiB / 19,77 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q8_K_XL (Unsloth)
gguf-ud-q8_k_xl
Qwen3.8-27B-UD-Q8_K_XL.gguf31.457.991.680 (29,30 GiB / 31,46 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q6_K_XL (Unsloth)
gguf-ud-q6_k_xl
Qwen3.8-27B-UD-Q6_K_XL.gguf25.299.061.664 (23,56 GiB / 25,30 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-Q4_K_XL (Unsloth)
gguf-ud-q4_k_xl
Qwen3.8-27B-UD-Q4_K_XL.gguf17.559.178.144 (16,35 GiB / 17,56 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF BF16 (Unsloth)
gguf-bf16
BF16/Qwen3.8-27B-BF16-00001-of-00002.gguf, BF16/Qwen3.8-27B-BF16-00002-of-00002.gguf54.657.735.616 (50,90 GiB / 54,66 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_1 (Unsloth)
gguf-q4_1
Qwen3.8-27B-Q4_1.gguf17.540.705.248 (16,34 GiB / 17,54 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ1_M (Unsloth)
gguf-ud-iq1_m
Qwen3.8-27B-UD-IQ1_M.gguf6.729.166.848 (6,27 GiB / 6,73 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ1_S (Unsloth)
gguf-ud-iq1_s
Qwen3.8-27B-UD-IQ1_S.gguf6.192.222.208 (5,77 GiB / 6,19 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ2_S (Unsloth)
gguf-ud-iq2_s
Qwen3.8-27B-UD-IQ2_S.gguf8.371.970.048 (7,80 GiB / 8,37 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ2_XXS (Unsloth)
gguf-ud-iq2_xxs
Qwen3.8-27B-UD-IQ2_XXS.gguf7.266.070.528 (6,77 GiB / 7,27 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ3_S (Unsloth)
gguf-ud-iq3_s
Qwen3.8-27B-UD-IQ3_S.gguf12.040.883.104 (11,21 GiB / 12,04 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ3_XXS (Unsloth)
gguf-ud-iq3_xxs
Qwen3.8-27B-UD-IQ3_XXS.gguf10.934.860.704 (10,18 GiB / 10,93 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF UD-IQ4_XS (Unsloth)
gguf-ud-iq4_xs
Qwen3.8-27B-UD-IQ4_XS.gguf14.252.845.984 (13,27 GiB / 14,25 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_K_M (mradermacher)
gguf-q4_k_m
Qwen3.8-27B.Q4_K_M.gguf16.810.714.848 (15,66 GiB / 16,81 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_M (mradermacher)
gguf-q5_k_m
Qwen3.8-27B.Q5_K_M.gguf19.535.701.728 (18,19 GiB / 19,54 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q6_K (mradermacher)
gguf-q6_k
Qwen3.8-27B.Q6_K.gguf22.431.000.288 (20,89 GiB / 22,43 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q8_0 (mradermacher)
gguf-q8_0-mradermacher
Qwen3.8-27B.Q8_0.gguf29.047.084.768 (27,05 GiB / 29,05 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF IQ4_XS (mradermacher)
gguf-iq4_xs
Qwen3.8-27B.IQ4_XS.gguf15.420.450.528 (14,36 GiB / 15,42 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q4_K_S (mradermacher)
gguf-q4_k_s
Qwen3.8-27B.Q4_K_S.gguf15.825.299.168 (14,74 GiB / 15,83 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q5_K_S (mradermacher)
gguf-q5_k_s
Qwen3.8-27B.Q5_K_S.gguf18.971.682.528 (17,67 GiB / 18,97 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_M (mradermacher)
gguf-q3_k_m
Qwen3.8-27B.Q3_K_M.gguf13.500.737.248 (12,57 GiB / 13,50 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q2_K (mradermacher)
gguf-q2_k
Qwen3.8-27B.Q2_K.gguf10.864.592.608 (10,12 GiB / 10,86 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_L (mradermacher)
gguf-q3_k_l
Qwen3.8-27B.Q3_K_L.gguf14.559.799.008 (13,56 GiB / 14,56 GB)llama.cpp, ollama, unspecifiedfile-metadata
GGUF Q3_K_S (mradermacher)
gguf-q3_k_s
Qwen3.8-27B.Q3_K_S.gguf12.256.536.288 (11,41 GiB / 12,26 GB)llama.cpp, ollama, unspecifiedfile-metadata
INT4 theoreticalNenhum arquivo publicado13.890.713.976 (Linhas teóricas não são artefactos descarregáveis.)—theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização2.048 tokens8.192 tokens32.768 tokens
BF16 safetensors52,64 GiB–62,71 GiB53,02 GiB–63,15 GiB54,52 GiB–64,93 GiB
GGUF UD-Q4_K_M (Unsloth)15,73 GiB–18,88 GiB16,11 GiB–19,36 GiB17,61 GiB–21,20 GiB
GGUF Q8_0 (Unsloth)27,45 GiB–32,63 GiB27,83 GiB–33,10 GiB29,33 GiB–34,95 GiB
GGUF Q4_0 (Unsloth)15,35 GiB–18,44 GiB15,73 GiB–18,91 GiB17,23 GiB–20,76 GiB
GGUF UD-Q5_K_M (Unsloth)18,81 GiB–22,49 GiB19,19 GiB–22,97 GiB20,69 GiB–24,82 GiB
GGUF UD-Q8_K_XL (Unsloth)29,70 GiB–35,26 GiB30,07 GiB–35,74 GiB31,57 GiB–37,58 GiB
GGUF UD-Q6_K_XL (Unsloth)23,96 GiB–28,53 GiB24,33 GiB–29,01 GiB25,83 GiB–30,86 GiB
GGUF UD-Q4_K_XL (Unsloth)16,75 GiB–20,08 GiB17,13 GiB–20,55 GiB18,63 GiB–22,40 GiB
GGUF BF16 (Unsloth)51,30 GiB–60,61 GiB51,68 GiB–61,08 GiB53,18 GiB–62,93 GiB
GGUF Q4_1 (Unsloth)16,73 GiB–20,06 GiB17,11 GiB–20,53 GiB18,61 GiB–22,38 GiB
GGUF UD-IQ1_M (Unsloth)6,66 GiB–8,25 GiB7,04 GiB–8,72 GiB8,54 GiB–10,57 GiB
GGUF UD-IQ1_S (Unsloth)6,16 GiB–7,66 GiB6,54 GiB–8,14 GiB8,04 GiB–9,98 GiB
GGUF UD-IQ2_S (Unsloth)8,19 GiB–10,04 GiB8,57 GiB–10,52 GiB10,07 GiB–12,36 GiB
GGUF UD-IQ2_XXS (Unsloth)7,17 GiB–8,83 GiB7,54 GiB–9,31 GiB9,04 GiB–11,16 GiB
GGUF UD-IQ3_S (Unsloth)11,61 GiB–14,05 GiB11,99 GiB–14,53 GiB13,49 GiB–16,37 GiB
GGUF UD-IQ3_XXS (Unsloth)10,58 GiB–12,84 GiB10,96 GiB–13,32 GiB12,46 GiB–15,16 GiB
GGUF UD-IQ4_XS (Unsloth)13,67 GiB–16,47 GiB14,05 GiB–16,94 GiB15,55 GiB–18,79 GiB
GGUF Q4_K_M (mradermacher)16,05 GiB–19,26 GiB16,43 GiB–19,74 GiB17,93 GiB–21,58 GiB
GGUF Q5_K_M (mradermacher)18,59 GiB–22,24 GiB18,97 GiB–22,71 GiB20,47 GiB–24,56 GiB
GGUF Q6_K (mradermacher)21,29 GiB–25,40 GiB21,66 GiB–25,88 GiB23,16 GiB–27,72 GiB
GGUF Q8_0 (mradermacher)27,45 GiB–32,63 GiB27,83 GiB–33,10 GiB29,33 GiB–34,95 GiB
GGUF IQ4_XS (mradermacher)14,76 GiB–17,74 GiB15,13 GiB–18,22 GiB16,63 GiB–20,06 GiB
GGUF Q4_K_S (mradermacher)15,14 GiB–18,18 GiB15,51 GiB–18,66 GiB17,01 GiB–20,51 GiB
GGUF Q5_K_S (mradermacher)18,07 GiB–21,62 GiB18,44 GiB–22,10 GiB19,94 GiB–23,94 GiB
GGUF Q3_K_M (mradermacher)12,97 GiB–15,64 GiB13,35 GiB–16,12 GiB14,85 GiB–17,97 GiB
GGUF Q2_K (mradermacher)10,52 GiB–12,76 GiB10,89 GiB–13,24 GiB12,39 GiB–15,09 GiB
GGUF Q3_K_L (mradermacher)13,96 GiB–16,80 GiB14,33 GiB–17,28 GiB15,83 GiB–19,12 GiB
GGUF Q3_K_S (mradermacher)11,81 GiB–14,28 GiB12,19 GiB–14,76 GiB13,69 GiB–16,61 GiB
INT4 theoretical
Linhas teóricas não são artefactos descarregáveis.
13,33 GiB–17,56 GiB13,71 GiB–18,03 GiB15,21 GiB–19,88 GiB

Cache KV (dados brutos)

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

Premissas que afetam o resultado

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Quantização

Tipo de dispositivo

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas
Runtime

Engine e tipo de cache KV desta estimativa.

Carga

Cenário de overhead e o espaço de prefill.

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

GiB (2^30 bytes)

%

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

O arquivo é lido só no navegador e não é enviado.

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.