2023
1 post1편 · All posts글 모두 보기
Quentin Anthony 외: 트랜스포머 수학 101Quentin Anthony et al.: Transformer Math 101
트랜스포머 학습에 드는 계산량 6PD, 파라미터와 데이터셋 크기의 균형, 추론과 학습에 필요한 메모리(가중치, 옵티마이저 상태, 그래디언트, 활성값), 그리고 ZeRO와 3D 병렬화를 썼을 때의 메모리 어림식까지 한자리에 모은 EleutherAI의 글We present basic math related to computation and memory usage for transformers