Yerleşim Planı ve Model Dağıtımı
GPU kümeleri üzerindeki replika yerleşimi, TP (Tensor Parallel) dağılımı ve yaşam döngüsü kontrolü
8-GPU HGX Donanım Haritası ve Model Tahsisleri
GPU #0
Boş
80 GB Free
GPU #1
Boş
80 GB Free
GPU #2
Boş
80 GB Free
GPU #3
Boş
80 GB Free
GPU #4
Boş
80 GB Free
GPU #5
Boş
80 GB Free
GPU #6
Boş
80 GB Free
GPU #7
Boş
80 GB Free
Yönetilen Dağıtımlar
| ID & Model | Inference Ucu | GPU İndeksleri | Durum | Aksiyonlar |
|---|