Llama 3.2 3B Instruct の VRAM・メモリ要件

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact

5.98 GiB (6,425,529,048 bytes)

Raw KV cache

0.88 GiB (939,524,096 bytes)

Engine extras / workspace

0.63 GiB–2.53 GiB

Total estimated demand

7.48 GiB–9.39 GiB

計上したファイル

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

KV Cache（生データ）

標準の GQA/MHA 生 KV は 2 × 層数 × kvHeads × headDim × トークン数 × シーケンス数 × 要素バイトです。このページは query heads（24）ではなく KV heads（8）を使います。

• 8,192 tokens, 1 sequence, FP16: 939,524,096 bytes (0.8750 GiB)
• 32,768 tokens: 3,758,096,384 bytes (3.5000 GiB)

関連ページ

• KVキャッシュ計算機
• 4-bit、8-bit、FP16のメモリ（英語）
• ファイルサイズは実行時のVRAMではない（英語）
• 算出方法

出典

• 出典
• 出典
• 出典 — sha 0cb88a4f764b7a12671c53f0838cd831a0843b95; gated manual; safetensors.total=3212749824; 2 safetensors siblings.
• 出典
• 出典

結果を左右する前提

• 要求コンテキストは記録上のネイティブ窓 131072 トークン以内です。
• 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
• ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
• ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
• 計上したファイル: model-00001-of-00002.safetensors, model-00002-of-00002.safetensors。
• コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
• 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
• KV の型は、変更しない限りウェイト量子化とは独立です。

計算機