MiniMax-M3: requisitos de VRAM y memoria
Puntos de control concretos, con arquitectura y archivos de pesos con fuente. GGUF Q4_K_M (bartowski): 244,40 GiB–249,71 GiB a 8192 tokens, 1 secuencia, KV FP16, llama.cpp.
Editor y procedencia
- ProveedorMiniMax
- Hugging Face
MiniMaxAI/MiniMax-M3 - Revision
f0e1c1e04d40177e4673a22097036854f536e9c0 - Parámetros totales427.040.140.160
- Parámetros activosDesconocido / sin fuente independiente
- Capas60
- Cabezas de consulta64
- Cabezas KV4 (gqa)
- Dimensión de cabeza128
- Contexto documentado1.048.576
- Integridadpartial · partial
El recuento de parámetros activos es desconocido o no tiene una fuente independiente. Los parámetros activos describen el cómputo enrutado, no la huella residente completa.
Capas de memoria de esta estimación
Los bytes del archivo, el KV bruto, los extras del motor y la demanda total van aparte. No es una traza de ejecución.
- Weight artifact
- 243,34 GiB (261.282.110.272 bytes)
- Raw KV cache
- 0,94 GiB (1.006.632.960 bytes)
- Engine extras / workspace
- 0,13 GiB–5,43 GiB
- Total estimated demand
- 244,40 GiB–249,71 GiB
Archivos contados
| Cuantización | Archivos contados | Bytes | Motor | Evidencia |
|---|---|---|---|---|
| BF16 safetensors bf16 | 869.157.697.024 (809,47 GiB / 869,16 GB) | vllm, sglang, unspecified | file-metadata | |
| GGUF Q8_0 (Unsloth) gguf-q8_0 | 452.714.559.392 (421,62 GiB / 452,71 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q4_K_M (bartowski) gguf-q4_k_m | 261.282.110.272 (243,34 GiB / 261,28 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q5_K_M (bartowski) gguf-q5_k_m | 305.348.746.176 (284,38 GiB / 305,35 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| GGUF Q6_K (bartowski) gguf-q6_k | 369.400.554.688 (344,03 GiB / 369,40 GB) | llama.cpp, ollama, unspecified | file-metadata | |
| INT4 theoretical | No hay archivo publicado | 213.520.070.080 (Las filas teóricas no son artefactos descargables.) | — | theoretical |
Memoria por cuantización y contexto
Secuencias concurrentes = 1. El KV es FP16 por defecto. El intervalo incluye extras de runtime documentados para el motor indicado. Las cifras usan el mismo núcleo que la calculadora interactiva.
| Cuantización | 2048 tokens | 8192 tokens | 32.768 tokens |
|---|---|---|---|
| BF16 safetensors | 810,33 GiB–812,21 GiB | 811,03 GiB–812,93 GiB | 813,84 GiB–815,83 GiB |
| GGUF Q8_0 (Unsloth) | 421,98 GiB–430,79 GiB | 422,69 GiB–431,56 GiB | 425,50 GiB–434,57 GiB |
| GGUF Q4_K_M (bartowski) | 243,70 GiB–248,94 GiB | 244,40 GiB–249,71 GiB | 247,21 GiB–252,72 GiB |
| GGUF Q5_K_M (bartowski) | 284,74 GiB–290,80 GiB | 285,44 GiB–291,57 GiB | 288,25 GiB–294,58 GiB |
| GGUF Q6_K (bartowski) | 344,39 GiB–351,65 GiB | 345,09 GiB–352,41 GiB | 347,91 GiB–355,42 GiB |
| INT4 theoretical Las filas teóricas no son artefactos descargables. | 199,22 GiB–256,98 GiB | 199,92 GiB–257,86 GiB | 202,73 GiB–261,32 GiB |
Caché KV (datos brutos)
El KV bruto de GQA/MHA es 2 × capas × kvHeads × headDim × tokens × secuencias × bytes por elemento. Esta página usa KV heads (4), no query heads (64).
- 8,192 tokens, 1 sequence, FP16: 1.006.632.960 bytes (0,9375 GiB)
- 32,768 tokens: 4.026.531.840 bytes (3,7500 GiB)
Páginas relacionadas
Fuentes
- MiniMax-M3 model card
- config.json — revision f0e1c1e04d40177e4673a22097036854f536e9c0
- safetensors index — metadata.total_size=869157697024
- Artifact repo unsloth/MiniMax-M3-GGUF
- Artifact repo bartowski/MiniMax-M3-GGUF
Hipótesis que afectan al resultado
- El contexto pedido cabe en la ventana nativa de 1048576 tokens.
- La estimación residente usa el total de parámetros, incluidos expertos MoE inactivos.
- El recuento de parámetros activos es desconocido o no tiene una fuente independiente. Los parámetros activos describen el cómputo enrutado, no la huella residente completa.
- Los bytes de pesos salen solo de los archivos elegidos, no de todas las cuantizaciones del repositorio.
- El tamaño de descarga no es la memoria GPU de pico. El diseño en ejecución y la KV van aparte.
- Los bytes de pesos provienen de 7 fragmentos safetensors publicados que suman 261282110272 bytes.
- Hay componente de visión. La inferencia de texto no incluye encoder ni projector.
- Hay pesos MTP/draft; no entran salvo que se activen.
Calculadora
Cargando la instantánea del catálogo…
Busque o elija un modelo del catálogo para ver la VRAM necesaria de un LLM en local.