Llama 3.1 8B Instruct の VRAM・メモリ要件

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact

14.96 GiB (16,060,556,376 bytes)

Raw KV cache

1.00 GiB (1,073,741,824 bytes)

Engine extras / workspace

0.63 GiB–2.53 GiB

Total estimated demand

16.58 GiB–18.49 GiB

計上したファイル

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

KV Cache（生データ）

標準の GQA/MHA 生 KV は 2 × 層数 × kvHeads × headDim × トークン数 × シーケンス数 × 要素バイトです。このページは query heads（32）ではなく KV heads（8）を使います。

• 8,192 tokens, 1 sequence, FP16: 1,073,741,824 bytes (1.00 GiB)
• 32,768 tokens: 4,294,967,296 bytes (4.00 GiB)

関連ページ

• KVキャッシュ計算機
• 4-bit、8-bit、FP16のメモリ（英語）
• ファイルサイズは実行時のVRAMではない（英語）
• 算出方法

出典

• 出典
• 出典
• 出典 — sha 0e9e39f249a16976918f6564b8830bc894c89659; gated manual; safetensors.total=8030261248; 4 safetensors siblings.
• 出典
• 出典

結果を左右する前提

• 要求コンテキストは記録上のネイティブ窓 131072 トークン以内です。
• 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
• ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
• ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
• 計上したファイル: model-00001-of-00004.safetensors, model-00002-of-00004.safetensors, model-00003-of-00004.safetensors, model-00004-of-00004.safetensors。
• コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
• 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
• KV の型は、変更しない限りウェイト量子化とは独立です。

計算機