목록AI, ML (10)

프린세스 다이어리

[Review] Towards Automatic Assessment of Perceived Walkability 논문정리, 리뷰

Blečić, Ivan, Arnaldo Cecchini, and Giuseppe A. Trunfio. "Towards automatic assessment of perceived walkability." Computational Science and Its Applications–ICCSA 2018: 18th International Conference, Melbourne, VIC, Australia, July 2–5, 2018, Proceedings, Part III 18. Springer International Publishing, 2018. https://link.springer.com/chapter/10.1007/978-3-319-95168-3_24 한줄요약: 인간이 인지하는 거리의 walkab..
AI, ML 2023. 9. 23. 22:40
[Review] Pruning Meets Low-Rank Parameter-efficient Fine-tuning 논문 정리

Zhang, Mingyang, et al. "Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning." arXiv preprint arXiv:2305.18403 (2023). 요즘 관심 있는 pruning, PEFT 관련하여 재미있는 논문이 있어 정리해 보았다. 이 리뷰글은 논문 내용만을 담고 있지는 않는다. 1. 연구의 필요성 (1) Problem Statements LLaMA와 ViT-G 같은 Large pre-trained model은 다양한 task에서 성능이 높다. 파라미터가 많을 수록 다양한 task에서도 성능이 높아진다는 공식은 아직까지 유효한 것으로 보인다. 그런데 모델 사이즈와 연산 비용 때문에 성능이 제한된 모바일 디바이스 등에 배포가 어렵다는..
AI, ML 2023. 9. 22. 16:16
[Review] Workflow scheduling using neural networks and reinforcement learning 논문 리뷰 및 요약

Melnik, Mikhail, and Denis Nasonov. "Workflow scheduling using neural networks and reinforcement learning." Procedia computer science 156 (2019): 29-36. 1. 연구의 필요성 컴퓨팅 시스템 최적화를 위해 scheduling이 필요하다. 효과적으로 scheduling 문제를 해결하기 위해선 계산 모델과 resource의 높은 heterogeneity 등 다양한 컴퓨팅 환경에 적응하고 학습할 수 있어야 한다. 아직 ML은 scheduling 문제를 해결하기엔 충분치 않다. 기존의 RL을 활용한 scheduling 연구는 (1) 외부 Grid 자원에 따라 task distribution하는 것..
AI, ML 2023. 8. 29. 11:13
[Review] A new hybrid approach on WCET analysis for real-time systems using machine learning(2018) 논문 요약 리뷰

T. Huybrechts, S. Mercelis, and P. Hellinckx, “A new hybrid approach on WCET analysis for real-time systems using machine learning,” in Proc. 18th Int. Workshop Worst-Case Execution Time Anal. (WCET), 2018, pp. 1–12. (1) 연구의 필요성 Worst-Case Execution Time (WCET) of code는 Real-Time 시스템 개발 시 반드시 필요한 정보다. 개발 초기부터 WCET를 추정함으로써 pessimistic한 WCET 추정을 막고 과한 hardware 스펙을 방지해야 한다. WCET 분석을 위한 방법 중 hybrid ..
AI, ML 2023. 8. 28. 12:08
[Review] Introduction of deep neural network in hybrid WCET analysis(2018) 논문 요약 정리

T. Huybrechts, T. Cassimon, S. Mercelis, and P. Hellinckx, “Introduction of deep neural network in hybrid WCET analysis,” in Proc. Int. Conf. P2P Parallel Grid Cloud Internet Comput., 2018 1. 연구의 필요성 하드 리얼타임 사이버-물리 시스템(CPS)에서는 각 태스크의 WCET(최악 시나리오 실행 시간)을 파악해야 해당 태스크가 예측 가능한지를 판단할 수 있다. WCET 분석을 위한 방법에는 static, measurement-based, hybrid approach가 있다. 이 중 hybrid 방법론은 계산 complexity(static의 장점)과 acc..
AI, ML 2023. 8. 28. 12:02
PyTorch DataParallel 코드구현 및 성능 비교

PyTorch DataParallel 모듈을 사용하여 병렬컴퓨팅을 구현할 수 있다. 참고로 구현에 사용한 모델은 규모가 작은 AlexNet이다. 1. DataParallel 적용 전 def main(): device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 데이터셋 불러오기 transform = transforms.Compose([ transforms.Resize(size=(227, 227)), transforms.ToTensor(), #이미지를 pytorch tensors 타입으로 변형, 0.0~1.0 으로 변환 transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) # rgb, -1~..
AI, ML 2023. 5. 30. 00:41
[Review] Pytorch Distributed: Experiences on Accelerating Data Parallel Training

PyTorch Distributed: Experiences on Accelerating Data Parallel Training (Shen Li et al.) PyTorch의 DistributedDataParallel 모듈을 소개한 2020년 논문입니다. (1) 왜 이런 논문을 쓰게 되었는지, (2) 해결하고자 한 문제점은 무엇인지, (3) 어떻게 해결했는지, (4) 평가는 어떻게 이루어졌는지를 중점적으로 정리해보았습니다. 1. Background In the field of Deep Neural Networks (DNN) training, there are three primary steps: the forward pass to compute loss, the backward pass to calcul..
AI, ML 2023. 5. 29. 13:26
Developing and training the AlexNet model using Tensorflow on CIFAR-10 dataset

1. import libraries import tensorflow as tf from tensorflow.keras import datasets, layers, models, optimizers, regularizers 2. Load and preprocess CIFAR-10 dataset (train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data() train_images, test_images = train_images / 255.0, test_images / 255.0 num_train = int(len(train_images) * 0.8) train_images, validation_images = t..
AI, ML 2023. 4. 11. 02:20
Prev 1 2 Next