sparsecores ในหน่วยประมวลผลเทนเซอร์ (TPUs) เป็นประโยชน์อย่างยิ่งสำหรับแอปพลิเคชัน AI ที่พึ่งพาการฝังตัวอย่างมากเช่นรูปแบบการแนะนำการเรียนรู้ลึก (DLRMS) รุ่นเหล่านี้ใช้กันอย่างแพร่หลายในการโฆษณาการจัดอันดับการค้นหาและแพลตฟอร์มเช่น YouTube SparseCores เร่งการประมวลผลของการฝังตัวโดยการเปลี่ยนพื้นที่จัดหมวดหมู่ขนาดใหญ่ให้เป็นพื้นที่หนาแน่นขนาดเล็กซึ่งเป็นสิ่งสำคัญสำหรับระบบแนะนำ ตัวอย่างเช่น sparsecores ของ TPU V4 ทำให้เร็วกว่า TPU V3 3 เท่าสำหรับรุ่นคำแนะนำและเร็วกว่าระบบที่ใช้ CPU สูงถึง 5-30 เท่า [1] [3]
นอกจากนี้ sparsecores เป็นข้อได้เปรียบในการจัดอันดับและเวิร์กโหลดคำแนะนำขั้นสูงซึ่งมีการฝังตัวที่มีขนาดใหญ่เป็นพิเศษ สิ่งนี้ได้รับการปรับปรุงเพิ่มเติมในรุ่น TPU รุ่นใหม่เช่น Trillium ซึ่งรวม sparsecores รุ่นที่สามเข้าด้วยกันเพื่อเพิ่มประสิทธิภาพประสิทธิภาพสำหรับงานเฉพาะเหล่านี้ [7] โดยรวมแล้วแอปพลิเคชัน AI ใด ๆ ที่เกี่ยวข้องกับการฝังตัวที่ซับซ้อนหรือโครงสร้างข้อมูลที่กระจัดกระจายสามารถได้รับประโยชน์อย่างมากจากความสามารถของ sparsecores ใน TPUs
การอ้างอิง:[1] https://www.kdnuggets.com/2023/04/introducing-tpu-v4-google-cutting-edge-supercomputer-large-language-models.html
[2] https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-a-comprehensi
[3] https://www.vibranium.sg/post/introducing-tpu-v4-google-supercomputer-for-large-language
[4] https://www.datacamp.com/blog/tpu-vs-gpu-ai
[5] https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer
[6] https://eng.snap.com/training-models-with-tpus
[7] https://futurumgroup.com/insights/the-future-of-ai-infrastructure-unpacking-google-trillium-tpus/
[8] https://www.zdnet.com/article/5-reasons-why-google-trillium-could-transform-ai-and-computing-and-2-Obstacles/
[9] https://cloud.google.com/tpu
[10] https://arxiv.org/pdf/2309.08918.pdf