프린세스 다이어리

PyTorch DataParallel 모듈을 사용하여 병렬컴퓨팅을 구현할 수 있다. 참고로 구현에 사용한 모델은 규모가 작은 AlexNet이다. 1. DataParallel 적용 전 def main(): device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 데이터셋 불러오기 transform = transforms.Compose([ transforms.Resize(size=(227, 227)), transforms.ToTensor(), #이미지를 pytorch tensors 타입으로 변형, 0.0~1.0 으로 변환 transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) # rgb, -1~..

PyTorch Distributed: Experiences on Accelerating Data Parallel Training (Shen Li et al.) PyTorch의 DistributedDataParallel 모듈을 소개한 2020년 논문입니다. (1) 왜 이런 논문을 쓰게 되었는지, (2) 해결하고자 한 문제점은 무엇인지, (3) 어떻게 해결했는지, (4) 평가는 어떻게 이루어졌는지를 중점적으로 정리해보았습니다. 1. Background In the field of Deep Neural Networks (DNN) training, there are three primary steps: the forward pass to compute loss, the backward pass to calcul..

PyTorch model code based on "ImageNet Classification with Deep Convolutional Neural Networks" paper 1. Library import import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms from tqdm import tqdm 2. AlexNet Network class AlexNet(nn.Module): def __init__(self): super(AlexNet, self).__init__() self.features = nn.Sequential( nn.C..