Sparsecores trong các đơn vị xử lý tenxơ (TPU) đặc biệt có lợi cho các ứng dụng AI phụ thuộc nhiều vào việc nhúng, chẳng hạn như các mô hình khuyến nghị học tập sâu (DLRM). Các mô hình này được sử dụng rộng rãi trong quảng cáo, xếp hạng tìm kiếm và các nền tảng như YouTube. Sparsecores đẩy nhanh quá trình xử lý nhúng bằng cách biến các không gian phân loại lớn thành các không gian dày đặc nhỏ hơn, điều này rất quan trọng cho các hệ thống khuyến nghị. Chẳng hạn, các chất lỏng của TPU V4 làm cho nó nhanh hơn gấp 3 lần so với TPU V3 cho các mô hình khuyến nghị và nhanh hơn 5-30 lần so với các hệ thống dựa trên CPU [1] [3].
Ngoài ra, chất lỏng là lợi thế trong xếp hạng và khối lượng công việc khuyến nghị nâng cao, trong đó các nhúng cực lớn là phổ biến. Điều này được tăng cường hơn nữa trong các mô hình TPU mới hơn như Trillium, tích hợp các chất lỏng thế hệ thứ ba để tối ưu hóa hiệu suất cho các nhiệm vụ cụ thể này [7]. Nhìn chung, bất kỳ ứng dụng AI nào liên quan đến việc nhúng phức tạp hoặc cấu trúc dữ liệu thưa thớt đều có thể được hưởng lợi đáng kể từ khả năng của sparsecores trong TPU.
Trích dẫn:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-googles-cutting-edge-supercomputer-large-language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehensive-guide-to-their-roles-and-impact-on-artificial-intelligence
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-s-supercomputer-for-large-language-models
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
.
.
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf