GLM-4.5-Air: requisitos de VRAM e memória
Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (Unsloth): 69,53 GiB–71,36 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.
Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo
Roda em
Publicador e procedência
- FornecedorZhipu AI
- Hugging Face
zai-org/GLM-4.5-Air - Revision
a24ceef6ce4f3536971efe9b778bdaa1bab18daa - Parâmetros totais110.468.824.832
- Parâmetros ativosDesconhecido / sem fonte independente
- Camadas46
- Heads de consulta96
- Heads KV8 (gqa)
- Dimensão do head128
- Contexto documentado131.072
- Completudecomplete · full
A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.
Camadas de memória desta estimativa
Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.
- Weight artifact
- 67,96 GiB (72.975.748.384 bytes)
- Raw KV cache
- 1,44 GiB (1.543.503.872 bytes)
- Engine extras / workspace
- 0,13 GiB–1,96 GiB
- Total estimated demand
- 69,53 GiB–71,36 GiB
Arquivos contados
| Quantização | Arquivos contados | Bytes | Motor de execução | Evidência |
|---|---|---|---|---|
| BF16 safetensors bf16 | 110.468.824.832 (102,88 GiB / 110,47 GB) | vllm, sglang, unspecified | file-metadata | |
| GGUF Q4_K_M (Unsloth) gguf-q4_k_m | Q4_K_M/GLM-4.5-Air-Q4_K_M-00001-of-00002.gguf, Q4_K_M/GLM-4.5-Air-Q4_K_M-00002-of-00002.gguf | 72.975.748.384 (67,96 GiB / 72,98 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q5_K_M (Unsloth) gguf-q5_k_m | Q5_K_M/GLM-4.5-Air-Q5_K_M-00001-of-00002.gguf, Q5_K_M/GLM-4.5-Air-Q5_K_M-00002-of-00002.gguf | 83.519.589.632 (77,78 GiB / 83,52 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q6_K (Unsloth) gguf-q6_k | Q6_K/GLM-4.5-Air-Q6_K-00001-of-00002.gguf, Q6_K/GLM-4.5-Air-Q6_K-00002-of-00002.gguf | 99.007.528.192 (92,21 GiB / 99,01 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q8_0 (Unsloth) gguf-q8_0 | Q8_0/GLM-4.5-Air-Q8_0-00001-of-00003.gguf, Q8_0/GLM-4.5-Air-Q8_0-00002-of-00003.gguf, Q8_0/GLM-4.5-Air-Q8_0-00003-of-00003.gguf | 117.456.506.240 (109,39 GiB / 117,46 GB) | llama.cpp, ollama, unspecified | file-metadata |
| INT4 theoretical | Nenhum arquivo publicado | 55.234.412.416 (Linhas teóricas não são artefactos descarregáveis.) | — | theoretical |
Memória por quantização e contexto
Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.
| Quantização | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| BF16 safetensors | 103,87 GiB–105,75 GiB | 104,94 GiB–106,86 GiB | 109,26 GiB–111,30 GiB |
| GGUF Q4_K_M (Unsloth) | 68,45 GiB–70,19 GiB | 69,53 GiB–71,36 GiB | 73,84 GiB–75,98 GiB |
| GGUF Q5_K_M (Unsloth) | 78,27 GiB–80,21 GiB | 79,35 GiB–81,38 GiB | 83,66 GiB–85,99 GiB |
| GGUF Q6_K (Unsloth) | 92,69 GiB–94,92 GiB | 93,77 GiB–96,09 GiB | 98,08 GiB–100,70 GiB |
| GGUF Q8_0 (Unsloth) | 109,87 GiB–112,44 GiB | 110,95 GiB–113,62 GiB | 115,26 GiB–118,23 GiB |
| INT4 theoretical Linhas teóricas não são artefactos descarregáveis. | 51,93 GiB–67,25 GiB | 53,00 GiB–68,60 GiB | 57,32 GiB–73,91 GiB |
Cache KV (dados brutos)
O KV bruto de GQA/MHA é 2 × camadas × kvHeads × headDim × tokens × sequências × bytes por elemento. Esta página usa KV heads (8), não query heads (96).
- 8,192 tokens, 1 sequence, FP16: 1.543.503.872 bytes (1,4375 GiB)
- 32,768 tokens: 6.174.015.488 bytes (5,7500 GiB)
Páginas relacionadas
Fontes
- GLM-4.5-Air model card
- config.json — revision a24ceef6ce4f3536971efe9b778bdaa1bab18daa
- safetensors index — metadata.total_size=110468824832
- Artifact repo unsloth/GLM-4.5-Air-GGUF
Premissas que afetam o resultado
- O contexto pedido cabe na janela nativa de 131072 tokens.
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: Q4_K_M/GLM-4.5-Air-Q4_K_M-00001-of-00002.gguf, Q4_K_M/GLM-4.5-Air-Q4_K_M-00002-of-00002.gguf.
- Há pesos MTP/draft; só entram se ativados.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
Calculadora
A carregar o snapshot do catálogo…
Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.
Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.