추가 설정없이 로컬 컴퓨터에서 TPU와 함께 Pytorch Lightning을 직접 사용할 수 없습니다. TPU는 GCP (Google Cloud Platform)에서 주로 제공되는 전문 하드웨어 가속기이며 작동하려면 특정 구성이 필요합니다. 여기에 여전히 사용할 수있는 이유와 방법은 다음과 같습니다.
1. 가용성 및 설정 : TPU는 일반적으로 로컬 사용에 사용할 수 없습니다. 일반적으로 Google Cloud와 같은 클라우드 서비스를 통해 액세스 할 수 있습니다. Google Cloud와 같은 클라우드 서비스는 TPU 노드를 프로비저닝하고 클라우드 환경 또는 Google Colab [2] [3]와 같은 원격 설정에서 연결할 수 있습니다.
2. Cloud TPU VMS : TPU를 사용하는 가장 간단한 방법은 클라우드 TPU VM을 통한 것입니다. 이는 직접 SSH 액세스를 허용하고 Pytorch 및 Pytorch XLA와 같은 필요한 소프트웨어와 함께 사전 설치됩니다. 이 설정은 프로세스를 단순화하지만 여전히 클라우드 환경이 필요합니다 [1] [3].
3. 로컬 대안 : 로컬로 모델을 훈련하려면 로컬 기계에서보다 일반적으로 사용할 수있는 GPU 사용을 고려할 수 있습니다. Pytorch Lightning은 GPU 교육을 지원하며 '트레이너'설정에서 'Accelerator'매개 변수를 조정하여 다른 가속기 (예 : TPU에서 GPU로)간에 쉽게 전환 할 수 있습니다.
TPU를 사용하려면 일반적으로 다음을 수행해야합니다.
- Google 클라우드 계정을 설정하십시오.
- TPU 노드를 제공하거나 클라우드 TPU VM을 사용하십시오.
-Pytorch 및 Pytorch XLA와 같은 필요한 패키지를 설치하십시오.
- TPU에 연결하도록 환경을 구성하십시오.
이 단계가 없으면 로컬 컴퓨터에서 TPU를 사용할 수 없습니다. 그러나 클라우드의 TPU로 이동하기 전에 GPU 또는 CPU를 사용하여 로컬로 모델을 쉽게 시뮬레이션하거나 테스트 할 수 있습니다.
인용 :[1] https://pytorch-leightning.readthedocs.io/en/2.0.1/accelerators/tpu_intermediate.html
[2] https://cloud.google.com/blog/products/ai-machine-learning/train-ml--mlels-with-pytorch-lightning-on-tpus
[3] https://lightning.ai/docs/pytorch/1.5.9/advanced/tpu.html
[4] https://stackoverflow.com/questions/66538407/unable-to-import-pytorch-lightning-on-google-colab
[5] https://lightning.ai/docs/pytorch/2.0.2/accelerators/tpu_faq.html
[6] https://stackoverflow.com/questions/70136356/import-error-while-launching-pytorch-lightning-project-on-colab-tpu
[7] https://pytorch.org/xla/release/2.2/index.html
[8] https://github.com/lightning-ai/pytorch-leightning/discussions/9966
[9] https://stackoverflow.com/questions/75693020/how-to-set-up-tpu-on-google-colab-for-pytorch-lightning