Qwen3-VL-8B-Instruct em RTX 5090: Roda com folga — set. de 2026

Julgamento condicional de memória para uma configuração. Contexto, quantização ou motor podem mudar a conclusão. Configuração desta página: BF16 safetensors, 8.192 tokens em cache, 1 sequência, motor vllm. Status: Provavelmente cabe. Software: Não verificado..

Provavelmente cabeNão verificadoEste resultado é uma estimativa, não um rastreio medido.

Configuração fixa da página

ModeloQwen3-VL-8B-Instruct
HardwareGeForce RTX 5090 32GB (desktop)
QuantizaçãoBF16 safetensors
Tamanho de contexto (tokens em cache)8.192
Motor de execuçãovllm
Sequências simultâneas1
Tipo do cache KVfp16

Identificadores técnicos e dados de compartilhamento

Modeloqwen3-vl-8b-instruct
Hardwarenvidia-geforce-rtx-5090-32gb-desktop
Quantizaçãobf16
Fragmento para compartilhar esta identidadev2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4zLXZsLThiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1nZWZvcmNlLXJ0eC01MDkwLTMyZ2ItZGVza3RvcCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImJmMTYiLCJjb250ZXh0VG9rZW5zIjo4MTkyLCJjb25jdXJyZW50U2VxdWVuY2VzIjoxLCJlbmdpbmUiOiJ2bGxtIiwia3ZUeXBlIjoiZnAxNiJ9fQ

Composição da memória

Weight artifact: 16,33 GiB (17.534.247.392 bytes)
Raw KV cache: 1,13 GiB (1.207.959.552 bytes)
Engine extras / workspace: 0,63 GiB–2,53 GiB
Total estimated demand: 18,08 GiB–19,99 GiB
Net calculator budget: 30,00 GiB
OS / display reserve: 2,00 GiB
Remaining vs net budget: 10,01 GiB–11,92 GiB

estimativa alta 19,99 GiB contra 30,00 GiB líquidos

Caber na memória não prova que o motor, a quantização e o sistema operacional funcionam juntos. Ter suporte também não significa ser rápido.

Outros arquivos publicados neste dispositivo

Mesmo modelo, dispositivo e contexto (8.192 tokens, 1 sequência, KV em FP16). Cada linha é um conjunto de arquivos de pesos publicado com seu motor habitual, ordenado por memória.

Quantização	Motor de execução	Memória estimada	Ajuste
BF16 safetensors Esta página	`vllm`	18,08 GiB–19,99 GiB	Roda com folga
GGUF Q8_0 (Qwen)	`llama.cpp`	9,36 GiB–9,98 GiB	Roda com folga
GGUF Q6_K (Unsloth)	`llama.cpp`	7,51 GiB–8,09 GiB	Roda com folga
GGUF Q5_K_M (Unsloth)	`llama.cpp`	6,70 GiB–7,26 GiB	Roda com folga
GGUF Q4_K_M (Qwen)	`llama.cpp`	5,93 GiB–6,48 GiB	Roda com folga

Premissas que afetam o resultado

O contexto pedido cabe na janela nativa de 262144 tokens.
A estimativa residente usa o total de parâmetros, inclusive especialistas MoE inativos.
Os bytes dos pesos vêm só dos arquivos escolhidos, não de todas as quantizações do repositório.
O tamanho do download não é o pico de GPU. Layout em execução e KV vêm a mais.
Arquivos contados: model-00001-of-00004.safetensors, model-00002-of-00004.safetensors, model-00003-of-00004.safetensors, model-00004-of-00004.safetensors.
Há componente de visão. Inferência só de texto não inclui encoder/projector.
O contexto é o número de tokens em cache por sequência (entrada mais geração reservada).
Sequências simultâneas compartilham uma cópia do modelo; os pesos não multiplicam pela quantidade de sequências.

Abrir esta combinação na calculadora Cache KV

Páginas relacionadas

Fontes

Qwen3-VL-8B-Instruct model card
config.json — revision 0c351dd01ed87e9c1b53cbc748cba10e6187ff3b
safetensors index — metadata.total_size=17534247392
Artifact repo Qwen/Qwen3-VL-8B-Instruct-GGUF
Artifact repo unsloth/Qwen3-VL-8B-Instruct-GGUF
NVIDIA GeForce RTX 5090 product page — Standard Memory Config 32 GB GDDR7

Calculadora

Esta página de combo mantém o modelo e o dispositivo da rota. Personalize na calculadora principal; a partilha guarda essa identidade.

A carregar o snapshot do catálogo…

Escolha primeiro um modelo e depois confira o equipamento.

Modelo

Mostrar modelos históricos

Quantização

Tipo de dispositivo

Hardware

Carga

O comprimento de contexto afeta principalmente a memória do KV cache.

Configurações avançadas

Runtime

Engine e tipo de cache KV desta estimativa.

Motor de execuçãoTipo do cache KVDtype do estado recorrente / conv Incluir estimativas teóricas (especialista) Permitir substituto se o filtro não tiver correspondência

Carga

Cenário de overhead e o espaço de prefill.

Cenário de overhead em tempo de execução Incluir área de trabalho mais pesada no prefill

Topologia

Como o modelo é dividido entre dispositivos. A memória não é somada.

Forma de implantaçãoDivisão intra-réplicaQuantidade de dispositivos

O número de réplicas é avançado. A quantidade são nós ou GPUs, não réplicas.

Grupos de réplicasDispositivos por réplica

Orçamento

Reserva do sistema e margem de segurança. Um número vazio mantém o valor anterior.

Reserva para sistema / tela

GiB (2^30 bytes)

O orçamento já exclui a reserva do sistemaMargem extra de segurança

Bits efetivos por parâmetro (personalizado)Unidade de exibição

Modelo personalizado

Importe uma config ou digite a arquitetura. Nada é varrido até você importar.

Importar config.json local

O arquivo é lido só no navegador e não é enviado.

Repositório público do Hugging FaceRevisão

Só huggingface.co, só config.json, sem token. Repositório privado é recusado.

Parâmetros totaisParâmetros ativosCamadasHeads de consultaHeads KVDimensão do head

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.

Pesquise ou escolha um modelo do catálogo para ver a VRAM necessária e rodar um LLM local.