Radeon RX 9070 XT 16GB (desktop): quais LLMs locais cabem na VRAM

16 GB GDDR6 é VRAM discreta: 17.179.869.184 bytes (16,00 GiB). A reserva padrão do sistema é 2.147.483.648 bytes (2,00 GiB) e o líquido é 15.032.385.536 bytes (14,00 GiB).

Radeon RX 9070 XT 16GB (desktop): 16,00 GiB brutos, reserva padrão 2,00 GiB, orçamento líquido da calculadora 14,00 GiB. Esta página responde a capacidade anunciada. A conversão em bytes segue a suposição do catálogo para esta SKU.

Este resultado é uma estimativa, não um rastreio medido.VRAM discreta

Modelos para este dispositivo

Bruto, reserva e orçamento líquido

AMDAMD Radeon RX 9070 XT 16GB · desktop-gpu
Tipo de memóriadiscrete-vram
Anunciado16 GB GDDR6
Bruto17.179.869.184 bytes = 16,00 GiB
Reserva padrão2.147.483.648 bytes = 2,00 GiB
Orçamento líquido15.032.385.536 bytes = 14,00 GiB

A reserva é uma suposição configurável da calculadora, não um consumo de desktop medido. Máquinas sem tela podem baixá-la depois de medir o uso base da placa.

Encaixe do catálogo em 8.192 tokens

Cada linha é a mesma escolha automática da calculadora em 8.192 tokens: a maior precisão com pelo menos 3 bits por peso que ainda cabe. Um arquivo abaixo desse piso continua disponível para escolha manual e não é a linha automática. Sequências concorrentes = 1, KV FP16. Caber e o suporte de software são coisas distintas. Compatibilidade de formato não é uma execução verificada.

Provavelmente cabe (43)

Modelo	Quantização	Estimativa	Ajuste	Compatibilidade de software	Evidência
Qwen2.5-0.5B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	0,85 GiB–1,24 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Gemma 3 1B IT	GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens	1,10 GiB–1,50 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-0.6B	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	1,60 GiB–2,04 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-1.5B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	2,11 GiB–2,53 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-Coder-1.5B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	2,11 GiB–2,53 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Llama 3.2 1B Instruct	Official BF16 safetensors bf16 · 8192 tokens	2,68 GiB–3,12 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-1.7B	GGUF Q8_0 gguf-q8_0 · 8192 tokens	2,71 GiB–3,18 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-1.7B-Base	GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens	2,71 GiB–3,18 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Gemma 3 4B IT	GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens	3,33 GiB–3,79 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
SmolLM2-1.7B-Instruct	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	3,32 GiB–3,83 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-VL-3B-Instruct	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	3,47 GiB–3,92 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-3B-Instruct	GGUF Q8_0 gguf-q8_0 · 8192 tokens	3,77 GiB–4,24 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-Coder-3B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	3,77 GiB–4,24 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Phi-4-mini-instruct	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	4,93 GiB–5,45 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-4B	GGUF Q8_0 gguf-q8_0 · 8192 tokens	5,24 GiB–5,77 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-4B-Instruct-2507	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	5,24 GiB–5,77 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-VL-4B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	5,24 GiB–5,77 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Llama 3.2 3B Instruct	Official BF16 safetensors bf16 · 8192 tokens	6,98 GiB–7,54 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Phi-3.5-mini-instruct	GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens	6,91 GiB–7,57 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2-7B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-VL-7B-Instruct	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
OpenMath-Nemotron-7B	GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-R1-Distill-Qwen-7B	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-7B-Instruct	GGUF Q8_0 gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-Coder-7B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-Coder-7B	GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens	8,10 GiB–8,66 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Mistral-7B-Instruct-v0.3	GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens	8,30 GiB–8,89 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Gemma 3 12B IT	GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens	8,46 GiB–9,04 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-R1-Distill-Llama-8B	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	9,08 GiB–9,68 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-Math-7B-Instruct	GGUF Q8_0 (bartowski) gguf-q8_0 · 8192 tokens	8,10 GiB–9,96 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-8B	GGUF Q8_0 gguf-q8_0 · 8192 tokens	9,36 GiB–9,98 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-8B-Base	GGUF Q8_0 (mradermacher) gguf-q8_0 · 8192 tokens	9,36 GiB–9,98 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-VL-8B-Instruct	GGUF Q8_0 (Qwen) gguf-q8_0 · 8192 tokens	9,36 GiB–9,98 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
granite-3.3-8b-instruct	GGUF Q8_0 (IBM) gguf-q8_0 · 8192 tokens	9,46 GiB–10,09 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
GLM-4-9B-0414	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	9,75 GiB–10,33 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Mistral-Nemo-Instruct-2407	GGUF Q6_K (Unsloth) gguf-q6_k · 8192 tokens	10,74 GiB–11,39 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-14B	GGUF Q5_K_M (Qwen) gguf-q5_k_m · 8192 tokens	11,17 GiB–11,83 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
phi-4	GGUF Q5_K_M (Unsloth) gguf-q5_k_m · 8192 tokens	11,39 GiB–12,06 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
OpenMath-Nemotron-14B	GGUF Q5_K_M (mradermacher) gguf-q5_k_m · 8192 tokens	11,41 GiB–12,09 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-Coder-14B-Instruct	GGUF Q5_K_M (Qwen) gguf-q5_k_m · 8192 tokens	11,41 GiB–12,09 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-14B-Instruct	GGUF Q5_K_M (Qwen) gguf-q5_k_m · 8192 tokens	11,41 GiB–12,09 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-V2-Lite-Chat	GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens	10,01 GiB–12,23 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Phi-4-reasoning	GGUF Q5_K_M (Unsloth) gguf-q5_k_m · 8192 tokens	11,56 GiB–12,25 GiB	Provavelmente cabe	Não verificado	Este resultado é uma estimativa, não um rastreio medido.

Apertado (2)

Modelo	Quantização	Estimativa	Ajuste	Compatibilidade de software	Evidência
Qwen3.8-27B	GGUF UD-IQ3_XXS (Unsloth) gguf-ud-iq3_xxs · 8192 tokens	10,96 GiB–13,32 GiB	Apertado	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
gpt-oss-20b	MXFP4 safetensors mxfp4 · 8192 tokens	13,13 GiB–13,78 GiB	Apertado	Não verificado	Este resultado é uma estimativa, não um rastreio medido.

Memória insuficiente (41)

Modelo	Quantização	Estimativa	Ajuste	Compatibilidade de software	Evidência
Mistral-Small-24B-Instruct-2501	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	14,72 GiB–15,45 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Llama 3.1 8B Instruct	Official BF16 safetensors bf16 · 8192 tokens	16,08 GiB–16,83 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Gemma 3 27B IT	GGUF Q4_0 (Google QAT) gguf-q4_0 · 8192 tokens	17,20 GiB–17,97 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-30B-A3B	GGUF Q4_K_M gguf-q4_k_m · 8192 tokens	18,16 GiB–18,93 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-30B-A3B-Instruct-2507	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	18,16 GiB–18,93 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-VL-30B-A3B-Instruct	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	18,16 GiB–18,93 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-32B	GGUF Q4_K_M gguf-q4_k_m · 8192 tokens	20,53 GiB–21,41 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
OpenMath-Nemotron-32B	GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-VL-32B-Instruct	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-R1-Distill-Qwen-32B	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
QwQ-32B	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-Coder-32B-Instruct	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-32B-Instruct	GGUF Q4_K_M gguf-q4_k_m · 8192 tokens	20,61 GiB–21,50 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Drama 3	Unofficial int4 W4A16 (GPTQ-Marlin, with codec) int4-w4a16-community · 8192 tokens	22,67 GiB–27,03 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Mixtral-8x7B-Instruct-v0.1	GGUF Q4_K_M (mradermacher) gguf-q4_k_m · 8192 tokens	27,62 GiB–28,59 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Llama-3.1-Nemotron-70B-Instruct-HF	GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens	42,23 GiB–43,57 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen2.5-72B-Instruct	GGUF Q4_K_M gguf-q4_k_m · 8192 tokens	43,61 GiB–44,98 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-Next-80B-A3B-Instruct	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	45,96 GiB–47,29 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
gpt-oss-120b	MXFP4 safetensors mxfp4 · 8192 tokens	61,18 GiB–62,79 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
GLM-4.5-Air	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	69,53 GiB–71,36 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3.8-Flash-Next	GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens	111,75 GiB–131,53 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
MiniMax-M2	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	130,90 GiB–133,99 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-235B-A22B	GGUF Q4_K_M (Qwen) gguf-q4_k_m · 8192 tokens	133,99 GiB–137,11 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Qwen3-235B-A22B-Instruct-2507	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	133,99 GiB–137,11 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Llama 3.3 70B Instruct	Official BF16 safetensors bf16 · 8192 tokens	134,04 GiB–137,22 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-V4-Flash-0731	FP8 safetensors fp8 · 8192 tokens	156,21 GiB–183,71 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
GLM-4.6	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	203,78 GiB–208,37 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
GLM-4.5	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	204,59 GiB–209,20 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
MiniMax-M3	GGUF Q4_K_M (bartowski) gguf-q4_k_m · 8192 tokens	244,40 GiB–249,71 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
GLM-5.3-Flash	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	318,04 GiB–373,58 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-V3	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	377,32 GiB–443,15 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-R1	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	377,32 GiB–443,15 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-V3-0324	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	377,32 GiB–443,15 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-R1-0528	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	377,79 GiB–443,71 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-V3.1	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	378,22 GiB–444,21 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Muse Spark Open	Official NVFP4 safetensors nvfp4 · 8192 tokens	498,47 GiB–508,91 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
DeepSeek-V4.1-Flash	FP8 safetensors fp8 · 8192 tokens	475,99 GiB–558,80 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Ling-3.1-flash	Official FP8 safetensors (F8_E4M3 experts + BF16 remainder) fp8 · 8192 tokens	535,11 GiB–628,26 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Kimi-K2-Instruct	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	578,81 GiB–679,50 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
Kimi-K2-Thinking	GGUF Q4_K_M (Unsloth) gguf-q4_k_m · 8192 tokens	579,24 GiB–680,01 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.
GLM-5.3	GGUF Q8_0 (Unsloth) gguf-q8_0 · 8192 tokens	747,13 GiB–876,98 GiB	Memória insuficiente	Não verificado	Este resultado é uma estimativa, não um rastreio medido.

Evidência medida e planejada nesta SKU

Esta página é uma estimativa, salvo uma medição residente correspondente.

Abrir a calculadora a partir deste hardware Calculadora

Páginas relacionadas

Fontes

AMD Radeon RX 9070 XT — Max Memory Size 16 GB; Memory Type GDDR6; Memory Interface 256-bit; Memory Bandwidth up to 640 GB/s; Typical Board Power 304 W

Calculadora

A carregar o snapshot do catálogo…

Escolha primeiro uma GPU ou uma máquina de memória unificada e a quantidade.

Tipo de dispositivo

Hardware

Modelo

Mostrar modelos históricos

Escolha uma GPU ou memória unificada. Os candidatos aparecem de imediato.

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Filtro de quantização Permitir substituto se o filtro não tiver correspondência

Desligado: GGUF, Q8 e outros filtros continuam estritos. Ligado: mostra substituição com pedido, usado e motivo.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista)

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Dispositivo e carga

Escolha uma GPU ou memória unificada. Os candidatos aparecem de imediato.

A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.

Escolha um dispositivo para listar candidatos. Não é preciso um modelo antes.