Google Cloud TPU를 사용하는 비용을 비교하여 자신의 TPU 하드웨어 구매 및 유지 보수와는 다음과 같은 몇 가지 요소가 필요합니다.
1. 클라우드 TPU 비용 : Google Cloud TPU는 클라우드 서비스로 제공되므로 사용 시간에 대해서만 비용을 지불합니다. 비용은 TPU 버전 및 사용 약정에 따라 다릅니다. 예를 들어, 512 코어 TPU V2 POD는 주문형 시간당 384 달러이며, 1 년의 약속에 대해 연간 210 만 달러, 3 년 동안 450 만 달러의 장기 약정에 상당한 할인 혜택이 있습니다 [1]. 최신 TPU V4는 칩 당 시간당 약 $ 8가 소요될 수 있으며 TPU V4-POD와 같은 대규모 구성은 시간당 $ 32,200에 도달 할 수 있습니다 [2] [3].
2. 자체 하드웨어 구매 및 유지 관리 : TPU는 개인적으로 사용하기 위해 개별적으로 판매되지 않습니다. Google Cloud와 같은 클라우드 서비스를 통해서만 사용할 수 있습니다. 그러나 이것을 유사한 작업에 일반적으로 사용되는 고성능 GPU 구매와 비교할 수 있습니다. Nvidia V100 또는 A100과 같은 고급 GPU는 단위당 $ 8,000에서 $ 15,000 사이의 비용이들 수 있습니다 [2]. 또한 자체 하드웨어를 유지하려면 전력, 냉각, 오버 헤드 및 인력에 대한 상당한 지속적인 비용이 필요합니다 [7].
3. 비용 고려 사항 : 빈번하거나 지속적으로 사용하기 위해, 특히 운영 비용을 포함한 총 소유 비용을 고려할 때 장기적으로 자체 하드웨어 구매 및 유지 보수가 더 비용 효율적 일 수 있습니다. 그러나 때때로 또는 소규모 프로젝트의 경우 Google Cloud TPU와 같은 클라우드 서비스는 선결제 자본 비용 부족과 필요에 따라 확장 능력으로 인해 더욱 경제적 일 수 있습니다 [7].
요약하면, 클라우드 TPU는 선불 하드웨어 비용없이 유연성과 확장 성을 제공하지만, 고유 한 하드웨어 (예 : 고성능 GPU)를 구매하고 유지 관리하는 것은 초기 및 운영 비용을 고려하여 장기적이고 집중적 인 사용에 더 비용 효율적일 수 있습니다.
인용 :[1] https://www.reddit.com/r/machinelearning/comments/epx5vg/d_google_cloud_tpu_pod_pricing_grid_a_512core_tpu/
[2] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[3] https://www.chaotropy.com/why-googles-tpus-are-match-for-nvidias-gpus/
[4] https://www.androidpolice.com/what-are-are-google-cloud-tpus/
[5] https://cloud.google.com/tpu
[6] https://www.syntio.net/en/labs-musings/machine-learning-on-gcp-cloud-tpu-vs-cloud-functions/
[7] https://www.dataknobs.com/generativeai/tpu/tpu-gpu-cost.html
[8] https://cloud.google.com/tpu/docs/intro-to-tpu
[9] https://cloudplatform.googleblog.com/2018/06/cloud-tpu-now-pre-prementible-bricing-and-global-avavelability.html