Můžete použít Pytorch Lightning s TPU, ale jejich provozování v místním prostředí není jednoduché. TPU jsou primárně k dispozici v prostředí Google Cloud (GCP), Google Colab a Kaggle. Tyto platformy poskytují nezbytnou infrastrukturu a nastavení pro používání TPU s Pytorch Lightning [1] [2].
Chcete -li používat TPU v místním prostředí, musíte mít přístup k zařízení TPU, které obvykle není bez nastavení cloudu. Modely však můžete simulovat nebo testovat na místní úrovni pomocí jiných akcelerátorů, jako jsou GPUS, před jejich nasazením na TPU v cloudu.
Pokud chcete použít TPU, nejběžnějším přístupem je nastavení projektu v Google Cloud a používání svých služeb TPU. Pytorch Lightning podporuje běžící na TPU prostřednictvím integrace Pytorch XLA, která kompiluje operace na vysoké úrovni do optimalizovaných operací pro TPU [4] [5]. Google Colab nabízí bezplatný a přístupný způsob, jak začít používat TPU s Pytorch Lightning tím, že poskytuje prostředí notebooku Jupyter s podporou TPU [1] [3].
Stručně řečeno, i když nemůžete snadno používat TPU v místním prostředí bez cloudové infrastruktury, můžete využít cloudové služby jako Google Colab nebo Google Cloud k využití TPU s Pytorch Lightning.
Citace:[1] https://lightning.ai/docs/pytorch/1.5.9/advanced/tpu.html
[2] https://pytorch-lightning.readthedocs.io/en/1.0.8/tpu.html
[3] https://stackoverflow.com/questions/756930/how-to-set-p-tpu-on-google-lab-for-Pytorch-and-Pytorch-Lightning
[4] https://cloud.google.com/blog/products/ai-machine-learning/train-ml-models-with-Pytorch-lightning-on-tpus
[5] https://pytorch.org/xla/release/2.2/index.html
[6] https://github.com/lightning-ai/pytorch-lightning/issues/19274
[7] https://www.datacamp.com/tutorial/pytorch-lightning-tutorial
[8] https://github.com/lightning-ai/lightning/issues/16464