경사 하강법(Gradient Descent)

[경사 하강법 (Gradient Decent)]

역전파에서 경사항강법을 통해 weight, bias 수정량을 결정.

[역전파에서 경사 하강법]

실제로는 위와 같이 그래프 곡선 형태를 알기 어렵기에 오차가 최소가 되는 방향으로 조금씩 가중치를 변화시켜 감.

오차가 하강하도록 변화시키면 오차는 줄여짐.

각 weight와 bias의 변화량은 이 곡선의 기울기로 결정됨.

우선 모든 weight와 bias에 대한 오차의 기울기를 구해야 함.

[국소 최적해와 전역 최적해]

가끔 위와 같이 국소 최적해(local minima)에 빠져버려 더 이상 weight 수정을 하지 않고 전역 최적해(global minima)에 도달하지 못하는 경우도 있음.

국소 최적해를 피하기 위한 다양한 조정은 최적화 알고리즘을 통해 가능함.

간단하게 확률적 경사 하강법(Stochastic Gradient Descent)를 이용.

여기서 η(에타)는 학습률(learning rate)인 상수값이고 뒷 부분의 편미분들이 기울기임.