Llama 3.3 70B Instruct の VRAM・メモリ要件

出典付きの構成と、選択した重みファイルに基づく具体的なチェックポイントです。 Official BF16 safetensors：8,192 トークンで約 134.54 GiB–136.49 GiB、シーケンス 1、FP16 KV、vllm。

これは見積もりであり、実機トレースではありません。未確認ファイル由来の重み

公開元と出典

提供元Meta
Hugging Facemeta-llama/Llama-3.3-70B-Instruct
Revision6f6073b423013f6a7d4d9f39144961bfbfbc386b
総パラメータ数70,553,706,496
層数80
クエリヘッド64
KVヘッド8 (gqa)
ヘッド次元128
記録されているコンテキスト上限131,072
完全性complete · full

この見積もりのメモリ内訳

ファイルのバイト、生の KV、エンジンの追加分、合計需要は別々です。ランタイムのトレースではありません。

Weight artifact: 131.42 GiB (141,107,497,872 bytes)
Raw KV cache: 2.50 GiB (2,684,354,560 bytes)
Engine extras / workspace: 0.63 GiB–2.58 GiB
Total estimated demand: 134.54 GiB–136.49 GiB

計上したファイル

量子化	計上したファイル	バイト	実行エンジン	根拠
Official BF16 safetensors bf16 計算機: Official BF16 safetensors	safetensors シャード 30 件選択したバイトの合計：141,107,497,872 (131.42 GiB / 141.11 GB) 先頭のシャード：model-00001-of-00030.safetensors 末尾のシャード：model-00030-of-00030.safetensors シャードファイル 30 件をすべて表示 `model-00001-of-00030.safetensors` `model-00002-of-00030.safetensors` `model-00003-of-00030.safetensors` `model-00004-of-00030.safetensors` `model-00005-of-00030.safetensors` `model-00006-of-00030.safetensors` `model-00007-of-00030.safetensors` `model-00008-of-00030.safetensors` `model-00009-of-00030.safetensors` `model-00010-of-00030.safetensors` `model-00011-of-00030.safetensors` `model-00012-of-00030.safetensors` `model-00013-of-00030.safetensors` `model-00014-of-00030.safetensors` `model-00015-of-00030.safetensors` `model-00016-of-00030.safetensors` `model-00017-of-00030.safetensors` `model-00018-of-00030.safetensors` `model-00019-of-00030.safetensors` `model-00020-of-00030.safetensors` `model-00021-of-00030.safetensors` `model-00022-of-00030.safetensors` `model-00023-of-00030.safetensors` `model-00024-of-00030.safetensors` `model-00025-of-00030.safetensors` `model-00026-of-00030.safetensors` `model-00027-of-00030.safetensors` `model-00028-of-00030.safetensors` `model-00029-of-00030.safetensors` `model-00030-of-00030.safetensors`	141,107,497,872 (131.42 GiB / 141.11 GB)	`vllm, sglang, unspecified`	`file-metadata`
INT4 theoretical	公開ファイルなし	35,276,853,248 (理論行はダウンロード可能な成果物ではありません。)	—	theoretical

量子化とコンテキストごとのメモリ

同時シーケンスは 1 です。KV は既定で FP16 です。範囲には、記載したエンジンの記録済みランタイム分が含まれます。数字は対話式計算機と同じコアです。

量子化	2,048 tokens	8,192 tokens	32,768 tokens
Official BF16 safetensors	132.67 GiB–134.56 GiB	134.54 GiB–136.49 GiB	142.04 GiB–144.22 GiB
INT4 theoretical 理論行はダウンロード可能な成果物ではありません。	33.60 GiB–43.62 GiB	35.48 GiB–45.97 GiB	42.98 GiB–55.20 GiB

KV Cache（生データ）

標準の GQA/MHA 生 KV は 2 × 層数 × kvHeads × headDim × トークン数 × シーケンス数 × 要素バイトです。このページは query heads（64）ではなく KV heads（8）を使います。

8,192 tokens, 1 sequence, FP16: 2,684,354,560 bytes (2.5000 GiB)
32,768 tokens: 10,737,418,240 bytes (10.00 GiB)

このモデルで計算機を開く

出典

出典
出典
出典 — sha 6f6073b423013f6a7d4d9f39144961bfbfbc386b; gated manual; safetensors.total=70553706496; 30 safetensors siblings.
出典
出典

結果を左右する前提

要求コンテキストは記録上のネイティブ窓 131072 トークン以内です。
常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
ウェイトバイトは公開済み safetensors シャード 30 個、合計 141107497872 バイトです。
コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
KV の型は、変更しない限りウェイト量子化とは独立です。

計算機

公開カタログスナップショットを読み込み中…

モデルを先に選び、その後で機器を確認します。

モデル

過去のモデルを表示

量子化

機材の種類

ハードウェア

ワークロード

コンテキスト長は主に KV キャッシュメモリに効きます。

詳細設定

ランタイム

この見積もりで使うエンジンと KV キャッシュの型です。

実行エンジンKV Cache の精度再帰 / 畳み込み状態の型理論値も含める（上級）フィルタに一致が無いとき代替を許す

ワークロード

オーバーヘッドの想定と、プリフィル作業領域を含めるかどうかです。

実行時オーバーヘッドの想定プリフィル寄りの作業領域を多めに見る

トポロジ

モデルを複数デバイスへどう分割するか。メモリは合算しません。

配置方法複製内の分割デバイス数

複製数は上級オプションです。台数はノードまたは GPU であり、複製数ではありません。

複製グループ数複製あたりの台数

予算

システム予約と安全余裕。数字を空にすると直前の値を保ちます。

OS / 画面用の予約

GiB（2^30 バイト）

予算はすでにシステム分を除いている追加の安全マージン

パラメータあたりの実効ビット数（手動）表示単位

カスタムモデル

設定を読み込むか、構造を手入力します。読み込むまでリポジトリは走査しません。

ローカルの config.json を読み込む

ブラウザ内だけで解析します。ファイルは送信しません。

公開 Hugging Face リポジトリリビジョン

huggingface.co の config.json のみ。トークンなし。非公開リポジトリは拒否します。

総パラメータ数アクティブパラメータ数層数クエリヘッドKVヘッドヘッド次元

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。

検索するかカタログから選ぶと、ローカルLLMの必要VRAMが出ます。