GLM-5.3-Flash Q8_0: VRAM necessária 373,58 GiB (Estimativa grosseira)

VRAM necessária 373,58 GiB. GLM-5.3-Flash Q8_0 em 8.192 tokens é uma estimativa de 318,04 GiB–373,58 GiB para rodar um LLM local. Repositório zai-org/GLM-5.3-Flash. Arquivo de 340.981.966.112 bytes. Sem GPU, isto é demanda, não se cabe. Estimativa grosseira.

Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q8_0 (Unsloth): 318,04 GiB–373,58 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.

Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo

Publicador e procedência

FornecedorZhipu AI
Hugging Facezai-org/GLM-5.3-Flash
Revisioneb9eb208eb0d988989d07a6a12d0fdeb5f52574a
Parâmetros totais321.323.031.390
Parâmetros ativosDesconhecido / sem fonte independente
Camadas45
Heads de consulta64
Heads KV64 (hybrid)
Dimensão do headderived
Contexto documentado1.048.576
Completudepartial · partial

A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.

Camadas de memória desta estimativa

Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.

Weight artifact: 317,56 GiB (340.981.966.112 bytes)
Raw KV cache: 0,35 GiB (377.487.360 bytes)
Engine extras / workspace: 0,13 GiB–55,66 GiB
Total estimated demand: 318,04 GiB–373,58 GiB

Arquivos contados

Quantização	Arquivos contados	Bytes	Motor de execução	Evidência
FP8 safetensors fp8 Calculadora: FP8 safetensors	62 shards safetensors Total de bytes selecionados: 328.326.771.576 (305,78 GiB / 328,33 GB) Primeiro shard: model-00001-of-00062.safetensors Último shard: model-00062-of-00062.safetensors Ver todos os 62 arquivos de shard `model-00001-of-00062.safetensors` `model-00002-of-00062.safetensors` `model-00003-of-00062.safetensors` `model-00004-of-00062.safetensors` `model-00005-of-00062.safetensors` `model-00006-of-00062.safetensors` `model-00007-of-00062.safetensors` `model-00008-of-00062.safetensors` `model-00009-of-00062.safetensors` `model-00010-of-00062.safetensors` `model-00011-of-00062.safetensors` `model-00012-of-00062.safetensors` `model-00013-of-00062.safetensors` `model-00014-of-00062.safetensors` `model-00015-of-00062.safetensors` `model-00016-of-00062.safetensors` `model-00017-of-00062.safetensors` `model-00018-of-00062.safetensors` `model-00019-of-00062.safetensors` `model-00020-of-00062.safetensors` `model-00021-of-00062.safetensors` `model-00022-of-00062.safetensors` `model-00023-of-00062.safetensors` `model-00024-of-00062.safetensors` `model-00025-of-00062.safetensors` `model-00026-of-00062.safetensors` `model-00027-of-00062.safetensors` `model-00028-of-00062.safetensors` `model-00029-of-00062.safetensors` `model-00030-of-00062.safetensors` `model-00031-of-00062.safetensors` `model-00032-of-00062.safetensors` `model-00033-of-00062.safetensors` `model-00034-of-00062.safetensors` `model-00035-of-00062.safetensors` `model-00036-of-00062.safetensors` `model-00037-of-00062.safetensors` `model-00038-of-00062.safetensors` `model-00039-of-00062.safetensors` `model-00040-of-00062.safetensors` `model-00041-of-00062.safetensors` `model-00042-of-00062.safetensors` `model-00043-of-00062.safetensors` `model-00044-of-00062.safetensors` `model-00045-of-00062.safetensors` `model-00046-of-00062.safetensors` `model-00047-of-00062.safetensors` `model-00048-of-00062.safetensors` `model-00049-of-00062.safetensors` `model-00050-of-00062.safetensors` `model-00051-of-00062.safetensors` `model-00052-of-00062.safetensors` `model-00053-of-00062.safetensors` `model-00054-of-00062.safetensors` `model-00055-of-00062.safetensors` `model-00056-of-00062.safetensors` `model-00057-of-00062.safetensors` `model-00058-of-00062.safetensors` `model-00059-of-00062.safetensors` `model-00060-of-00062.safetensors` `model-00061-of-00062.safetensors` `model-00062-of-00062.safetensors`	328.326.771.576 (305,78 GiB / 328,33 GB)	`vllm, sglang, unspecified`	`file-metadata`
GGUF Q8_0 (Unsloth) gguf-q8_0 Calculadora: GGUF Q8_0 (Unsloth)	8 shards safetensors Total de bytes selecionados: 340.981.966.112 (317,56 GiB / 340,98 GB) Primeiro shard: Q8_0/GLM-5.3-Flash-Q8_0-00001-of-00008.gguf Último shard: Q8_0/GLM-5.3-Flash-Q8_0-00008-of-00008.gguf Ver todos os 8 arquivos de shard `Q8_0/GLM-5.3-Flash-Q8_0-00001-of-00008.gguf` `Q8_0/GLM-5.3-Flash-Q8_0-00002-of-00008.gguf` `Q8_0/GLM-5.3-Flash-Q8_0-00003-of-00008.gguf` `Q8_0/GLM-5.3-Flash-Q8_0-00004-of-00008.gguf` `Q8_0/GLM-5.3-Flash-Q8_0-00005-of-00008.gguf` `Q8_0/GLM-5.3-Flash-Q8_0-00006-of-00008.gguf` `Q8_0/GLM-5.3-Flash-Q8_0-00007-of-00008.gguf` `Q8_0/GLM-5.3-Flash-Q8_0-00008-of-00008.gguf`	340.981.966.112 (317,56 GiB / 340,98 GB)	`llama.cpp, ollama, unspecified`	`file-metadata`
INT4 theoretical	Nenhum arquivo publicado	160.661.515.695 (Linhas teóricas não são artefactos descarregáveis.)	—	theoretical

Memória por quantização e contexto

Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.

Quantização	2.048 tokens	8.192 tokens	32.768 tokens
FP8 safetensors	306,49 GiB–354,64 GiB	306,75 GiB–355,00 GiB	307,81 GiB–356,44 GiB
GGUF Q8_0 (Unsloth)	317,78 GiB–373,20 GiB	318,04 GiB–373,58 GiB	319,10 GiB–375,07 GiB
INT4 theoretical Linhas teóricas não são artefactos descarregáveis.	149,84 GiB–193,41 GiB	150,10 GiB–193,79 GiB	151,16 GiB–195,29 GiB

Cache KV (dados brutos)

Abrir a calculadora com este modelo

Páginas relacionadas

Fontes

GLM-5.3-Flash model card
config.json — revision eb9eb208eb0d988989d07a6a12d0fdeb5f52574a
safetensors index — metadata.total_size=328326771576
Artifact repo unsloth/GLM-5.3-Flash-GGUF

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 1048576 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Os bytes de pesos vêm de 8 shards safetensors publicados, somando 340981966112 bytes.
Há componente de visão. Inferência só de texto não inclui encoder/projector.
Há pesos MTP/draft; só entram se ativados.

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.