Qwen3.8-Flash-Next: VRAM necessária 131,53 GiB
VRAM necessária 111,75 GiB–131,53 GiB. Qwen3.8-Flash-Next Q4_K_M em 8.192 tokens. Sem GPU, isto é demanda para rodar um LLM local, não se cabe. Estimativa grosseira Arquivo BF16: 359.999.963.128 bytes.
O checkpoint Qwen/Qwen3.8-Flash-Next traz neste catálogo BF16 safetensors de 359.999.963.128 bytes (335,28 GiB / 360,00 GB). Esse tamanho de download não é o pico de VRAM, e os números abaixo são estimativas.
Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (bartowski): 111,75 GiB–131,53 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.
Roda em
Publicador e procedência
- FornecedorQwen
- Hugging Face
Qwen/Qwen3.8-Flash-Next - Revision
de4b8e4d43b917e7706784d8bb445c9af86a3540 - Parâmetros totais179.999.981.459
- Parâmetros ativosDesconhecido / sem fonte independente
- Camadas48
- Heads de consulta24
- Heads KV2 (hybrid)
- Dimensão do head256
- Contexto documentado262.144
- Completudepartial · partial
A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.
Camadas de memória desta estimativa
Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.
- Weight artifact
- 111,39 GiB (119.599.030.080 bytes)
- Raw KV cache
- 0,19 GiB (201.326.592 bytes)
- Engine extras / workspace
- 0,18 GiB–19,95 GiB
- Total estimated demand
- 111,75 GiB–131,53 GiB
Arquivos contados
| Quantização | Arquivos contados | Bytes | Motor de execução | Evidência |
|---|---|---|---|---|
| BF16 safetensors bf16 | 359.999.963.128 (335,28 GiB / 360,00 GB) | vllm, sglang, unspecified | file-metadata | |
| GGUF Q8_0 (Unsloth) gguf-q8_0 | 188.225.033.248 (175,30 GiB / 188,23 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q4_K_M (bartowski) gguf-q4_k_m | Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00001-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00002-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00003-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00004-of-00004.gguf | 119.599.030.080 (111,39 GiB / 119,60 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q5_K_M (bartowski) gguf-q5_k_m | Qwen3.8-Flash-Next-Q5_K_M/Qwen3.8-Flash-Next-Q5_K_M-00001-of-00004.gguf, Qwen3.8-Flash-Next-Q5_K_M/Qwen3.8-Flash-Next-Q5_K_M-00002-of-00004.gguf, Qwen3.8-Flash-Next-Q5_K_M/Qwen3.8-Flash-Next-Q5_K_M-00003-of-00004.gguf, Qwen3.8-Flash-Next-Q5_K_M/Qwen3.8-Flash-Next-Q5_K_M-00004-of-00004.gguf | 134.668.639.040 (125,42 GiB / 134,67 GB) | llama.cpp, ollama, unspecified | file-metadata |
| GGUF Q6_K (bartowski) gguf-q6_k | 168.113.805.248 (156,57 GiB / 168,11 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| INT4 theoretical | Nenhum arquivo publicado | 89.999.990.730 (Linhas teóricas não são artefactos descarregáveis.) | — | theoretical |
Memória por quantização e contexto
Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.
| Quantização | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| BF16 safetensors | 336,00 GiB–388,56 GiB | 336,14 GiB–388,73 GiB | 336,70 GiB–389,39 GiB |
| GGUF Q8_0 (Unsloth) | 175,52 GiB–206,32 GiB | 175,66 GiB–206,50 GiB | 176,23 GiB–207,19 GiB |
| GGUF Q4_K_M (bartowski) | 111,61 GiB–131,35 GiB | 111,75 GiB–131,53 GiB | 112,31 GiB–132,22 GiB |
| GGUF Q5_K_M (bartowski) | 125,64 GiB–147,81 GiB | 125,79 GiB–147,99 GiB | 126,35 GiB–148,68 GiB |
| GGUF Q6_K (bartowski) | 156,79 GiB–184,35 GiB | 156,93 GiB–184,53 GiB | 157,50 GiB–185,22 GiB |
| INT4 theoretical Linhas teóricas não são artefactos descarregáveis. | 84,04 GiB–108,65 GiB | 84,18 GiB–108,83 GiB | 84,75 GiB–109,52 GiB |
Cache KV (dados brutos)
Páginas relacionadas
Fontes
- Qwen3.8-Flash-Next model card — Layout híbrido. O offload de especialistas não está especificado, e os parâmetros ativos não são os pesos residentes. O tamanho do arquivo é o checkpoint empacotado.
- config.json — revision de4b8e4d43b917e7706784d8bb445c9af86a3540
- safetensors index — metadata.total_size=359999963128
- Artifact repo unsloth/Qwen3.8-Flash-Next-GGUF
- Artifact repo bartowski/Qwen3.8-Flash-Next-GGUF
Premissas que afetam o resultado
- O contexto pedido cabe na janela nativa de 262144 tokens.
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Arquivos contados: Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00001-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00002-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00003-of-00004.gguf, Qwen3.8-Flash-Next-Q4_K_M/Qwen3.8-Flash-Next-Q4_K_M-00004-of-00004.gguf.
- Há componente de visão. Inferência só de texto não inclui encoder/projector.
- Há pesos MTP/draft; só entram se ativados.
Calculadora
A carregar o snapshot do catálogo…
Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.