2017
2 posts2편 · All posts글 모두 보기
Filip Korzeniowski: AMSGrad 실험Filip Korzeniowski: Experiments with AMSGrad
Adam의 수렴 증명에 있는 결함을 고친 AMSGrad를 논문보다 큰 VGG 계열 모델과 로지스틱 회귀로 다시 실험해 보니, 검증 손실은 낮아졌지만 정작 검증 정확도에서는 Adam과 뚜렷한 차이가 없었다고 보고하는 Filip Korzeniowski의 글
Andrew Gibiansky: 고성능 컴퓨팅 기법을 딥러닝에 들여오기Andrew Gibiansky: Bringing HPC Techniques to Deep Learning
여러 GPU에서 그래디언트를 평균할 때 통신 비용이 GPU 수에 비례해 늘어나는 문제를, 고성능 컴퓨팅에서 쓰던 링 올리듀스로 풀어 GPU 수와 상관없는 통신량으로 데이터 병렬 학습을 40개 GPU까지 선형으로 늘린 Baidu SVAIL의 글