DGX SparkでQwen2.5-72B-Instructは動く？
動きます。余裕もあります Qwen2.5-72B-Instruct の Q4_K_M は 8,192 トークンのコンテキストで 43.61 GiB–44.98 GiB 必要です。DGX Spark (GB10) で使えるのは約 112 GiB です。
12 ファイル、合計 44.0 GB。
これはモデルの config とファイルサイズからの推定で、実測ではありません。 計算方法
残りの余裕
- モデル本来の 32,768 トークンのコンテキストでも収まります。
- より大きいファイルも収まります：GGUF Q8_0 (Qwen) は約 76.8 GiB（余裕あり）。
このグラボでのほかのファイル
| 量子化 | ファイルサイズ | エンジン | 合計 | 適合 |
|---|---|---|---|---|
| BF16 safetensors | 145.4 GB | vllm | 138.6 GiB–140.5 GiB | 収まらない |
| GGUF Q8_0 (Qwen) | 77.5 GB | llama.cpp | 74.8 GiB–76.8 GiB | 余裕あり |
| GGUF Q6_K (Qwen) | 59.9 GB | llama.cpp | 58.4 GiB–60.0 GiB | 余裕あり |
| GGUF Q5_K_M (Qwen) | 51.7 GB | llama.cpp | 50.8 GiB–52.3 GiB | 余裕あり |
| GGUF Q4_K_M この設定 | 44.0 GB | llama.cpp | 43.6 GiB–45.0 GiB | 余裕あり |
同じコンテキスト（8,192 トークン）、同時に 1 会話、各ファイルは通常のエンジンで計算しています。
固定の設定
- モデルQwen2.5-72B-Instruct
- ハードウェアNVIDIA DGX Spark (GB10, 128 GB unified)
- 量子化GGUF Q4_K_M
- コンテキスト長（キャッシュするトークン数）8,192
- 実行エンジン
llama.cpp - 同時シーケンス数1
- KV Cache の精度fp16
技術識別子と共有データ
- モデル
qwen2.5-72b-instruct - ハードウェア
nvidia-dgx-spark-128gb-unified - 量子化
gguf-q4_k_m - この構成の共有コード
v2.eyJzY2hlbWFWZXJzaW9uIjoyLCJjYWxjdWxhdG9yVmVyc2lvbiI6IjAuMy4wIiwiZGF0YXNldFZlcnNpb24iOiIyMDI2LTEwLTAyLjEiLCJjb25maWciOnsibW9kZWxJZCI6InF3ZW4yLjUtNzJiLWluc3RydWN0IiwiaGFyZHdhcmVJZCI6Im52aWRpYS1kZ3gtc3BhcmstMTI4Z2ItdW5pZmllZCIsImRldmljZUNvdW50IjoxLCJxdWFudGl6YXRpb25JZCI6ImdndWYtcTRfa19tIiwiY29udGV4dFRva2VucyI6ODE5MiwiY29uY3VycmVudFNlcXVlbmNlcyI6MSwiZW5naW5lIjoibGxhbWEuY3BwIiwia3ZUeXBlIjoiZnAxNiJ9fQ
この数値の計算方法
合計 = 重みファイル + KV キャッシュ + ランタイムのバッファ。範囲は表示中のエンジンのオーバーヘッドの低めから高めまでです。
- 重み（ファイル）
- 40.99 GiB (44,010,465,472 bytes)
- KV キャッシュ
- 2.50 GiB (2,684,354,560 bytes)
- ランタイムのバッファ
- 0.13 GiB–1.49 GiB
- 合計
- 43.61 GiB–44.98 GiB
- 使えるメモリ
- 112.00 GiB
- OS / 画面の予約
- 16.00 GiB
- 残り
- 67.02 GiB–68.39 GiB
高めの見積もり 44.98 GiB／使える容量 112.00 GiB
ユニファイドメモリは 1 つの共有プールです。システム RAM を上乗せすることはできず、複数台でも 1 つのプールにはなりません。
- コンテキスト長はネイティブの 32768 トークン以内です。
- 常駐する重みは総パラメータ数で見積もり、使われていない MoE エキスパートも含めます。
- 重みのバイト数は選んだファイルだけで数えます。リポジトリ内の全量子化を合計することはありません。
- ダウンロードサイズはピーク時の GPU メモリではありません。実行時のレイアウトや KVキャッシュが上乗せされます。
- ウェイトバイトは公開済み safetensors シャード 12 個、合計 44010465472 バイトです。
- コンテキスト長は、シーケンスごとにキャッシュするトークン数（入力＋生成分）です。
- 同時シーケンスは1つのモデルを共有するため、重みはシーケンス数で増えません。
- KVキャッシュの精度は、変更しない限り重みの量子化とは無関係です。
関連ページ
出典
計算機
組み合わせページはルートのモデルと機材を固定します。変更するにはメイン計算機でカスタマイズし、共有がその身元を保持します。
公開カタログスナップショットを読み込み中…
モデルを選ぶと必要なメモリがわかります。
モデルを選ぶと必要なメモリがわかります。