NVIDIA A100 80GB SXM

見積もり

載る見込み

現在の前提では、見積もりの上限が利用可能予算の 90% 以下です。

推定メモリ範囲: 4.92 GiB – 5.42 GiB

重みは選択したファイルのメタデータを使います。実行時の追加分は見積もりです。

利用可能予算: 78.00 GiB · 見積もり後の残り: 72.58 GiB – 73.08 GiB

ソフトウェアの対応

文書で対応が確認できる. メモリが足りても、指定のエンジン・量子化・OS で動くとは限りません。動いても速いとは限りません。

結果を左右する前提

• 常駐ウェイトの見積もりは総パラメータを使い、非アクティブな MoE エキスパートも含めます。
• ウェイトのバイト数は選んだファイルだけです。リポジトリ内の全量子化を合計しません。
• ダウンロードサイズはピーク GPU メモリではありません。実行時レイアウトと KV は別です。
• 計上したファイル: qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf, qwen2.5-7b-instruct-q4_k_m-00002-of-00002.gguf。
• コンテキストはシーケンスあたりのキャッシュトークン数（入力＋生成の予約）です。
• 同時シーケンスは同一のモデル複製を共有し、ウェイトはシーケンス数では増えません。
• KV の型は、変更しない限りウェイト量子化とは独立です。
• 28 個の query heads ではなく 4 個の KV heads を使います。
• プリフィルのピークと定常デコードは同じではありません。高シナリオはプリフィル寄りです。
• エンジン予約はウェイトと KV の実使用量ではありません。
• llama.cpp の計算バッファはコンテキストとバッチで増えます。ここは調整可能なシナリオで、一致する校正がある場合だけ実測として示します。
• ホスト RAM は独立 GPU の VRAM に自動では入りません。

計算方法