Pytorch Lightning通过利用TPU体系结构的功能来处理TPU的数据并行性，该功能已针对高通量工作负载进行了优化，例如矩阵乘法和卷积。在对TPU进行训练时，Lightning会自动管理在TPU内核之间的数据分布，从而确保每个核心处理数据的适当部分。这是无需手动实现分布式采样器的，因为闪电会自动插入正确的采样器进行TPU培训[7]。
在TPU设置中，该模型在每个设备上都进行了复制，并且数据并行训练允许该模型适合单个TPU设备，同时在分布式配置的多个设备上复制[6]。这种方法可以有效地平行处理大型数据集，从而大大加快了培训时间。
要使用Pytorch Lightning使用TPU，您可以通过指定TPU内核的数量来配置“培训师”。例如，要使用带有8个内核的完整TPU POD，您将在“ Trainer”初始化[7]中设置`tpu_cors = 8`。此设置允许无缝数据并行性，而无需明确管理TPU内核的数据分布。
但是，对于TPU上的最佳性能，至关重要的是考虑批处理大小，张量评估，动态张量形状和资源限制等因素，以确保有效利用TPU资源[9]。
引用：[1] https://pytorch-lightning.readthedocs.io/en/1.5.10/advanced/multi_gpu.html
[2] https://pytorch-lightning.readthedocs.io/en/1.1.8/multi_gpu.html
[3] https://pytorch-lightning.readthedocs.io/en/0.9.0/multi_gpu.html
[4] https://github.com/lightning-ai/pytorch-lightning/issues/11922
[5] https://www.restack.io/p/pytorch-lightning-swer-multi-cpu-usage-cat-ai
[6] https://cloud.google.com/blog/topics/developers-practitioners/scaling-deep-learning-workloads-pytorch-xla-xla-xla-and-cloud-tpu-vm
[7] https://lightning.ai/docs/pytorch/1.5.9/advanced/tpu.html
[8] https://forums.fast.ai/t/how-to-to-create-a-callback-using-torch-multiprocessing-tpu/56264?page=7
[9] https://www.restack.io/p/pytorch-lightning-answer-set-set-device-cat-ai