テンソル処理ユニット(TPU)のスパーセコアは、ディープラーニング推奨モデル(DLRMS)などの埋め込みに大きく依存するAIアプリケーションにとって特に有益です。これらのモデルは、広告、検索ランキング、YouTubeなどのプラットフォームで広く使用されています。 SparseCoresは、大きなカテゴリスペースをより小さな密なスペースに変換することにより、埋め込みの処理を加速します。これは、推奨システムに重要です。たとえば、TPU V4のSparseCoresは、推奨モデルではTPU V3よりも3倍高速になり、CPUベースのシステムよりも最大5〜30倍高くなります[1] [3]。
さらに、スパーセコールは、超大型埋め込みが一般的なランキングおよび高度な推奨ワークロードで有利です。これは、Trilliumのような新しいTPUモデルでさらに強化されています。Trilliumは、これらの特定のタスクのパフォーマンスを最適化するために第3世代のスパーセコールを統合します[7]。全体として、複雑な埋め込みまたはスパースデータ構造を含むAIアプリケーションは、TPUSのSparsecoreの機能から大幅に利益を得ることができます。
引用：[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercomputer-lage-language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehinsive-guide-the-their-roles-an-impact-on-retificial-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-supercomputer-for-large-language-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-i-infrastructure-unpacking-googles-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-googles-trillium-could-transform-as-computing-and-2-obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf