Stanice NVIDIA DGX A100 je navržena tak, aby efektivně zpracovávala více uživatelů a vzdáleného přístupu, což z ní činí ideální řešení pro týmy a organizace, které vyžadují centralizované zdroje AI, ideálním řešením pro týmy a organizace. Zde je to, jak to řídí tyto schopnosti:
Manipulace s více uživateli
- Multi-Instance GPU (MIG): Stanice DGX A100 podporuje MIG, což umožňuje přidělit až 28 samostatných zařízení GPU jednotlivým uživatelům nebo úlohám. To znamená, že více uživatelů může sdílet stejný GPU současně bez ovlivňování výkonu systému. MIG umožňuje každé instanci GPU mít vlastní paměť, mezipaměť a streamování multiprocesoru a zajišťuje efektivní využití zdrojů [1] [2].
- Paralelní pracovní zátěž: Systém je schopen spustit trénink, inference a analytické pracovní zátěž paralelně. To umožňuje více uživatelům pracovat na různých projektech současně a využívat plný potenciál čtyř vzájemně propojených GPU NVIDIA A100 [1] [4].
- Sdílení zdrojů: MIG usnadňuje sdílení zdrojů mezi více uživateli, jako jsou studenti nebo členové týmů pro datové vědy. Tato funkce je zvláště užitečná pro hodnocení více inferenčních úloh nebo použití notebooků Jupyter pro průzkum modelu [2].
Vzdálený přístup a správa
- Vzdálená správa: Stanice DGX A100 nabízí robustní možnosti vzdáleného správy. Uživatelé mohou systém spravovat z dálky pomocí webového rozhraní, které poskytuje podrobné protokoly systému, hodnoty senzorů a monitorování výkonu. To zahrnuje sledování teploty GPU, paměťových dimmů, CPU a dalších komponent [2].
- IPMI a KVM: Systém podporuje IPMI (Intelligent Platform Management Interface) pro automatizované monitorování a správu. Navíc nabízí funkčnost KVM (klávesnice, video, myš), což uživatelům umožňuje vzdáleně přístup k displeji systému a spravovat jej, jako by byli fyzicky přítomni. To zahrnuje schopnosti virtuálního úložiště pro vzdálené zavedení nebo přeinstalování systému [2].
- Zabezpečené protokoly: Zabezpečené protokoly, jako je SSH, lze nastavit tak, aby umožnily vzdálený přístup ke stanici DGX z různých strojů. To umožňuje uživatelům spravovat své pracovní zátěž AI flexibilně odkudkoli [5].
-Rozhraní správy systému NVIDIA: Uživatelé mohou využívat nástroj příkazového řádku pro správu systému NVIDIA (NVIDIA-SMI) pro sledování a řízení výkonu GPU, včetně procent využití a teplotních hodnot [5].
Celkově poskytuje stanice A100 DGX výkonné řešení pro více uživatelů a vzdálený přístup, díky čemuž je vhodná pro různé prostředí, od firemních kanceláří až po výzkumná zařízení.
Citace:
[1] https://www.comspecta.com/dgxstation-a100.html
[2] https://www.robusthpc.com/wp-content/uploads/2021/11/nvidia-dgx-station-a100-system-architecture-white-paper_published.pdf
[3] https://docs.nvidia.com/dgx/pdf/dgx-station-user-guide.pdf
[4] https://www.e4company.com/wp-content/uploads/dgx-family-print-dgx-station-a100-datasheet-us-partner.pdf
[5] https://www.fibermall.com/blog/nvidia-dgx-systems.htm
[6] https://opentools.ai/news/nvidia-unleashes-the-future-with-ersonal-ai-supercomputers
[7] https://www.techpowerup.com/forums/threads/nvidia-announces-Dgx-park-and-Dgx-personal-i-computers.334300/
[8] https://www.serversimply.com/blog/how-to-connect-to-nvidia-dgx-cloud-Advantages-configurations and-setup-guide