Llama 3.2 1B Instruct の VRAM・メモリ要件

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact

2.30 GiB (2,471,645,608 bytes)

Raw KV cache

0.25 GiB (268,435,456 bytes)

Engine extras / workspace

0.63 GiB–2.51 GiB

Total estimated demand

3.18 GiB–5.06 GiB

計上したファイル

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

KV Cache（生データ）

標準の GQA/MHA 生 KV は 2 × 層数 × kvHeads × headDim × トークン数 × シーケンス数 × 要素バイトです。このページは query heads（32）ではなく KV heads（8）を使います。

• 8,192 tokens, 1 sequence, FP16: 268,435,456 bytes (0.2500 GiB)
• 32,768 tokens: 1,073,741,824 bytes (1.00 GiB)

関連ページ

• KVキャッシュ計算機
• 4-bit、8-bit、FP16のメモリ（英語）
• ファイルサイズは実行時のVRAMではない（英語）
• 算出方法

出典

• 出典
• 出典
• 出典 — sha 9213176726f574b556790deb65791e0c5aa438b6; gated manual; safetensors.total=1235814400; 1 safetensors siblings.
• 出典
• 出典

結果を左右する前提

• 要求コンテキストは記録上のネイティブ窓 131072 トークン以内です。
• 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
• ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
• ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
• 計上したファイル: model.safetensors。
• コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
• 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
• KV の型は、変更しない限りウェイト量子化とは独立です。

計算機