Môžete použiť blesk Pytorch s TPU, ale ich prevádzkovanie v miestnom prostredí nie je jednoduché. TPU sú primárne k dispozícii v prostrediach Google Cloud (GCP), Google Colab a Kaggle. Tieto platformy poskytujú potrebnú infraštruktúru a nastavenie na použitie TPU s pytorch bleskom [1] [2].
Ak chcete používať TPU v miestnom prostredí, musíte mať prístup k zariadeniu TPU, ktoré zvyčajne nie je možné bez nastavenie cloudu. Môžete však simulovať alebo otestovať svoje modely lokálne pomocou iných akcelerátorov, ako je GPU, pred ich nasadením na TPU v cloude.
Ak chcete používať TPU, najbežnejším prístupom je nastaviť projekt v službe Google Cloud a využiť ich služby TPU. Pytorch Lightning podporuje beh na TPU prostredníctvom integrácie Pytorch XLA, ktorá zostavuje operácie na vysokej úrovni do optimalizovaných operácií pre TPU [4] [5]. Google Colab ponúka bezplatný a prístupný spôsob, ako začať používať TPU s pytorch bleskom poskytovaním prostredia notebookov Jupyter s podporou TPU [1] [3].
Stručne povedané, aj keď nemôžete ľahko používať TPU v miestnom prostredí bez cloudovej infraštruktúry, môžete využiť cloudové služby ako Google Colab alebo Google Cloud na využitie TPU s bleskom Pytorch.
Citácie:[1] https://lighning.ai/docs/pytorch/1.5.9/advanced/tpu.html
[2] https://pytorch-lightning.readthedocs.io/en/1.0.8/tpu.html
[3] https://stackoverflow.com/questions/75693020/how-to-set-p-tpu-on-oogle-colab-for-pytorch-and-pytorch-lightning
[4] https://cloud.google.com/blog/products/ai-machine-learning/train-models-with-pytorch-lightning-on-tpus
[5] https://pytorch.org/xla/release/2.2/index.html
[6] https://github.com/lighning-ai/pytorch-lighning/issues/19274
[7] https://www.datacamp.com/tutorial/pytorch-lightning-tutorial
[8] https://github.com/lighning-ai/lighning/issues/16464