ローカルLLMの必要VRAM

ファイルバイト

チェックポイント: Qwen/Qwen2.5-7B-Instruct

根拠と制限

• メモリに余裕があっても、そのエンジン・量子化・OS の組み合わせで動くとは限りません。
• ファイル形式上はこのエンジンで読み込めますが、このモデル・エンジンのバージョン・機材・OS での動作は検証していません。

• コンテキスト長はネイティブの 32768 トークン以内です。
• 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
• 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
• ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
• 計上したファイル: qwen2.5-7b-instruct-q8_0-00001-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00002-of-00003.gguf, qwen2.5-7b-instruct-q8_0-00003-of-00003.gguf。
• コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
• 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
• KVキャッシュの精度は、変更しない限り重みの量子化とは無関係です。
• 28 個の query heads ではなく 4 個の KV heads を使います。
• プリフィルのピークと定常デコードは同じではありません。高シナリオはプリフィル寄りです。
• エンジン予約はウェイトと KV の実使用量ではありません。
• llama.cpp の計算バッファはコンテキストとバッチで増えます。ここは調整可能なシナリオで、一致する校正がある場合だけ実測として示します。
• ホスト RAM は独立 GPU の VRAM に自動では入りません。
• 量子化は gguf-q8_0 を自動選択しました。結果に実際の選択を表示しています。

データセット 2026-10-02.1 · 計算機 0.3.0