최적화 알고리즘(Optimizer)
[최적화 알고리즘 (Optimizer)] 효율적이고 정확하게 전역 최적해에 도착하기 위해 최적화 알고리즘의 선택은 중요. 1. 확률적 경사 하강법(Stochastic Gradient Descent, SGD) 수정할 때마다 샘플을 무작위로 선택. 장점기울기 수정 시 훈련 데이터 중에서 무작위로 샘플을 선택하기 때문에 국소 최적해에 잘 빠지지 않음.또한 식이 매우 간단. 단점다른 알고리즘처럼 학습률을 자동으로 조정해주는 파라미터가 없어 수정량의 유연한 조정이 불가함. 2. 모멘텀(Momentum) SGD에 관성을 더한 알고리즘. 는 관성의 크기를 결정하는 모멘텀 상수.는 이전 회차의 수정량. 장점관성항을 더함으로써 새로운 수정량은 이전까지의 수정량으로부터 영향을 받게 됨.그렇기에 수정량이 급격하게 변화하는 ..
