Kimi-K2-Thinking: requisitos de VRAM e memória
Checkpoints específicos, com arquitetura e arquivos de peso rastreáveis. GGUF Q4_K_M (Unsloth): 579,24 GiB–680,01 GiB em 8.192 tokens, 1 sequência, KV FP16, llama.cpp.
Este resultado é uma estimativa, não um rastreio medido.Não verificadoPesos com arquivo
Publicador e procedência
- FornecedorMoonshot AI
- Hugging Face
moonshotai/Kimi-K2-Thinking - Revision
a51ccc050d73dab088bf7b0e2dd9b30ae85a4e55 - Parâmetros totais1.026.408.240.256
- Parâmetros ativosDesconhecido / sem fonte independente
- Camadas61
- Heads de consulta64
- Heads KV64 (mla)
- Dimensão do head112
- Contexto documentado262.144
- Completudepartial · partial
A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.
Camadas de memória desta estimativa
Bytes do arquivo, KV bruto, extras do engine e demanda total ficam separados. Isto não é um rastreio de execução.
- Weight artifact
- 578,58 GiB (621.245.226.208 bytes)
- Raw KV cache
- 0,54 GiB (575.668.224 bytes)
- Engine extras / workspace
- 0,13 GiB–100,89 GiB
- Total estimated demand
- 579,24 GiB–680,01 GiB
Arquivos contados
| Quantização | Arquivos contados | Bytes | Motor de execução | Evidência |
|---|---|---|---|---|
| BF16 safetensors bf16 | 594.205.920.512 (553,40 GiB / 594,21 GB) | vllm, sglang, unspecified | file-metadata | |
| GGUF Q4_K_M (Unsloth) gguf-q4_k_m | 621.245.226.208 (578,58 GiB / 621,25 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q5_K_M (Unsloth) gguf-q5_k_m | 728.735.735.328 (678,69 GiB / 728,74 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q6_K (Unsloth) gguf-q6_k | 842.909.134.624 (785,02 GiB / 842,91 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q8_0 (Unsloth) gguf-q8_0 | 1.091.053.887.872 (1.016,12 GiB / 1.091,05 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| INT4 theoretical | Nenhum arquivo publicado | 513.204.120.128 (Linhas teóricas não são artefactos descarregáveis.) | — | theoretical |
Memória por quantização e contexto
Sequências concorrentes = 1. O KV padrão é FP16. O intervalo inclui extras de runtime documentados para o engine indicado. Os números usam o mesmo núcleo da calculadora interativa.
| Quantização | 2.048 tokens | 8.192 tokens | 32.768 tokens |
|---|---|---|---|
| BF16 safetensors | 554,16 GiB–639,46 GiB | 554,56 GiB–640,01 GiB | 556,17 GiB–642,20 GiB |
| GGUF Q4_K_M (Unsloth) | 578,84 GiB–679,43 GiB | 579,24 GiB–680,01 GiB | 580,85 GiB–682,28 GiB |
| GGUF Q5_K_M (Unsloth) | 678,95 GiB–796,86 GiB | 679,35 GiB–797,43 GiB | 680,96 GiB–799,71 GiB |
| GGUF Q6_K (Unsloth) | 785,28 GiB–921,58 GiB | 785,68 GiB–922,16 GiB | 787,29 GiB–924,44 GiB |
| GGUF Q8_0 (Unsloth) | 1.016,38 GiB–1.192,67 GiB | 1.016,78 GiB–1.193,25 GiB | 1.018,39 GiB–1.195,52 GiB |
| INT4 theoretical Linhas teóricas não são artefactos descarregáveis. | 478,22 GiB–616,37 GiB | 478,62 GiB–616,94 GiB | 480,23 GiB–619,22 GiB |
Cache KV (dados brutos)
Páginas relacionadas
Fontes
- Kimi-K2-Thinking model card
- config.json — revision a51ccc050d73dab088bf7b0e2dd9b30ae85a4e55
- safetensors index — metadata.total_size=594205920512
- Artifact repo unsloth/Kimi-K2-Thinking-GGUF
Premissas que afetam o resultado
- O contexto pedido cabe na janela nativa de 262144 tokens.
- A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
- A contagem de parâmetros ativos é desconhecida ou não tem fonte independente. Parâmetros ativos descrevem o compute roteado, não a pegada residente completa.
- Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
- O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
- Os bytes de pesos vêm de 13 shards safetensors publicados, somando 621245226208 bytes.
- O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
- Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.
Calculadora
A carregar o snapshot do catálogo…
Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.
Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.