Możesz użyć pioruna Pytorch z TPU, ale uruchamianie ich w lokalnym środowisku nie jest proste. TPU są przede wszystkim dostępne w Google Cloud (GCP), Google Colab i Kaggle Environments. Platformy te zapewniają niezbędną infrastrukturę i konfigurację do korzystania z TPU z Pytorch Lightning [1] [2].
Aby korzystać z TPU w lokalnym środowisku, musisz mieć dostęp do urządzenia TPU, co zazwyczaj nie jest możliwe bez konfiguracji w chmurze. Możesz jednak symulować lub przetestować swoje modele lokalnie za pomocą innych akceleratorów, takich jak GPU, przed wdrożeniem ich na TPU w chmurze.
Jeśli chcesz korzystać z TPU, najczęstszym podejściem jest skonfigurowanie projektu w Google Cloud i korzystanie z ich usług TPU. Pytorch Lightning obsługuje TPUS poprzez integrację Pytorch XLA, która kompiluje operacje wysokiego poziomu w zoptymalizowane operacje dla TPU [4] [5]. Google Colab oferuje bezpłatny i dostępny sposób na rozpoczęcie korzystania z TPU z Pytorch Lightning, zapewniając środowisko notebooka Jupyter z obsługą TPU [1] [3].
Podsumowując, chociaż nie można łatwo korzystać z TPU w lokalnym środowisku bez infrastruktury chmurowej, możesz wykorzystać usługi chmurowe, takie jak Google Colab lub Google Cloud, aby korzystać z TPU z Pytorch Lightning.
Cytaty:[1] https://lightning.ai/docs/pytorch/1.5.9/advanced/tpu.html
[2] https://pytorch-lightning.readthedocs.io/en/1.0.8/tpu.html
[3] https://stackaverflow.com/questions/75693020/how-to-set-pu-tpu-on-google-colab-for-pytorch-and-pitorch-lightning
[4] https://cloud.google.com/blog/products/ai-machine-learning/train-ml-models-with-pitorch-lightning-on-tpus
[5] https://pytorch.org/xla/release/2.2/index.html
[6] https://github.com/lightning-ai/pytorch-rightning/issues/19274
[7] https://www.datacamp.com/tutorial/pytorch-rightning-tutorial
[8] https://github.com/lightning-ai/lightning/issues/16464