Порівняння витрат на використання TPU Google Cloud з придбанням та підтримкою власного обладнання TPU передбачає кілька факторів:
1. Хмарні витрати TPU: Google Cloud TPU доступні як хмарна послуга, тобто ви платите лише за час, коли ви їх використовуєте. Вартість змінюється залежно від версії TPU та зобов'язання використання. Наприклад, 512 ядерний струч TPU V2 коштує 384 долари на годину на вимогу, зі значними знижками на довгострокові зобов’язання 2,1 мільйона доларів на рік за однорічні зобов'язання та 4,5 мільйона доларів протягом трьох років [1]. Останній TPU V4 може коштувати приблизно 8 доларів за годину за чіп, а масштабні конфігурації, такі як TPU V4-POD, можуть досягати 32 200 доларів на годину [2] [3].
2. Купівля та підтримка власного обладнання: TPU не продаються індивідуально для особистого використання; Вони доступні лише через хмарні сервіси, такі як Google Cloud. Однак ви можете порівняти це з придбанням високопродуктивних графічних процесорів, які зазвичай використовуються для подібних завдань. Високі графічні процесори, такі як NVIDIA V100 або A100, можуть коштувати від 8000 до 15000 доларів за одиницю [2]. Крім того, підтримка власного обладнання передбачає значні поточні витрати на електроенергію, охолодження, його накладні витрати та персонал [7].
3. Міркування щодо витрат: Для частого або постійного використання, придбання та підтримання власного обладнання може бути більш економічно вигідним у довгостроковій перспективі, особливо при розгляді загальної вартості власності, включаючи експлуатаційні витрати. Однак для випадкових або дрібних проектів хмарні сервіси, такі як Google Cloud TPU, можуть бути більш економічними через відсутність передових капітальних витрат та можливість масштабування за потребою [7].
Підсумовуючи це, хоча хмарні ТПУ пропонують гнучкість та масштабованість без передових витрат на обладнання, придбання та підтримання власного обладнання (наприклад, високоефективних графічних процесорів) може бути більш економічним для довгострокового, інтенсивного використання, враховуючи як початкові, так і операційні витрати.
Цитати:[1] https://www.reddit.com/r/machinelearning/comments/epx5vg/d_google_cloud_tpu_pod_pring_grid_a_512core_tpu/
[2] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[3] https://www.chaotropy.com/why-googles-tpus-are-no-match-for-nvidias-gpus/
[4] https://www.androidpolice.com/what-are-google-cloud-tpus/
[5] https://cloud.google.com/tpu
[6] https://www.syntio.net/en/labs-musings/machine-learning-on-gcp-cloud-tpu-vs-cloud-functions/
[7] https://www.dataknobs.com/generativeai/tpu/tpu-gpu-cost.html
[8] https://cloud.google.com/tpu/docs/intro-to-tpu
[9] https://cloudplatform.googleblog.com/2018/06/cloud-tpu-now-offers-preaptible-prising-and-global-availability.html