프린세스 다이어리

PyTorch Distributed: Experiences on Accelerating Data Parallel Training (Shen Li et al.) PyTorch의 DistributedDataParallel 모듈을 소개한 2020년 논문입니다. (1) 왜 이런 논문을 쓰게 되었는지, (2) 해결하고자 한 문제점은 무엇인지, (3) 어떻게 해결했는지, (4) 평가는 어떻게 이루어졌는지를 중점적으로 정리해보았습니다. 1. Background In the field of Deep Neural Networks (DNN) training, there are three primary steps: the forward pass to compute loss, the backward pass to calcul..