Pytorch Lightning จัดการข้อมูลการขนานบน TPUs โดยใช้ประโยชน์จากความสามารถของสถาปัตยกรรม TPU ซึ่งได้รับการปรับให้เหมาะสมสำหรับปริมาณงานที่มีปริมาณงานสูงเช่นการคูณเมทริกซ์และการโน้มน้าวใจ เมื่อการฝึกอบรมเกี่ยวกับ TPUS Lightning จะจัดการการกระจายข้อมูลข้ามแกน TPU โดยอัตโนมัติเพื่อให้มั่นใจว่าแต่ละแกนจะประมวลผลส่วนที่เหมาะสมของข้อมูล สิ่งนี้ทำได้โดยไม่จำเป็นต้องใช้งานแบบแมนนวลของตัวอย่างแบบกระจายเนื่องจากสายฟ้าแทรกตัวอย่างที่ถูกต้องโดยอัตโนมัติสำหรับการฝึกอบรม TPU [7]
ในการตั้งค่า TPU โมเดลจะถูกจำลองแบบในแต่ละอุปกรณ์และการฝึกอบรมแบบขนานข้อมูลช่วยให้โมเดลพอดีกับอุปกรณ์ TPU เดียวในขณะที่ถูกจำลองแบบผ่านอุปกรณ์หลายเครื่องในการกำหนดค่าแบบกระจาย [6] วิธีการนี้ช่วยให้การประมวลผลแบบขนานอย่างมีประสิทธิภาพของชุดข้อมูลขนาดใหญ่เพิ่มเวลาฝึกอบรมอย่างมีนัยสำคัญ
ในการใช้ TPUs ด้วย Pytorch Lightning คุณสามารถกำหนดค่า `Trainer 'ได้โดยระบุจำนวนแกน TPU ตัวอย่างเช่นในการใช้ฝัก TPU เต็มรูปแบบที่มี 8 คอร์คุณจะตั้งค่า `tpu_cores = 8` ในการเริ่มต้น` เทรนเนอร์ '[7] การตั้งค่านี้ช่วยให้ข้อมูลแบบขนานข้อมูลไร้รอยต่อโดยไม่ต้องมีการจัดการการกระจายข้อมูลอย่างชัดเจนในแกน TPU
อย่างไรก็ตามเพื่อประสิทธิภาพที่ดีที่สุดใน TPU สิ่งสำคัญคือการพิจารณาปัจจัยต่าง ๆ เช่นขนาดแบทช์การประเมินเทนเซอร์รูปร่างเทนเซอร์แบบไดนามิกและข้อ จำกัด ด้านทรัพยากรเพื่อให้แน่ใจว่าการใช้ทรัพยากร TPU อย่างมีประสิทธิภาพ [9]
การอ้างอิง:[1] https://pytorch-lightning.readthedocs.io/en/1.5.10/advanced/multi_gpu.html
[2] https://pytorch-lightning.readthedocs.io/en/1.1.8/multi_gpu.html
[3] https://pytorch-lightning.readthedocs.io/en/0.9.0/multi_gpu.html
[4] https://github.com/lightning-ai/pytorch-lightning/issues/11922
[5] https://www.restack.io/p/pytorch-lightning-answer-multi-cpu-usage-cat-ai
[6] https://cloud.google.com/blog/topics/developers-practitioners/scaling-deep-learning-workloads-pytorch-xla-and-cloud-tpu-vm
[7] https://lightning.ai/docs/pytorch/1.5.9/advanced/tpu.html
[8] https://forums.fast.ai/t/how-to-create-a-callback-using-torch-multiprocessing-tpu/56264?page=7
[9] https://www.restack.io/p/pytorch-lightning-answer-set-device-cat-ai