학습규칙 & 역전파(Backpropagation)

[학습규칙]

:신경망이 학습할 때 결합강도가 어느 정도로 변화하는지 설명한 것.

1. 헵의 규칙 (Hebbian rule)

심리학자 Donald Hebb이 주장한 뇌의 시냅스 가소성에 관한 법칙.

가소성이란 변화된 상태가 계쏙 유지되는 성질을 의미함.

헵의 규칙은 시냅스 앞쪽의 신경세포가 흥분하고 이에 따라 시냅스 뒤쪽 신경세포가 흥분하면 시냅스의 전달효율이 강화된다는 주장에 근거.

반대로, 장기간 흥분하지 않으면 그 시냅스의 전달 효율도 감퇴.

결합강도(가중치)의 변화량은 시냅스 앞쪽 뉴런 출력 yi, 시냅스 뒤쪽 뉴런의 출력 yj 로 나타낼 수 있음.

감마는 상수. yi가 yj와 함께 커지면 결합 강도가 크게 증가됨.

시냅스 전후 뉴런의 흥분이 반복적으로 발생하면 이후부터는 시냅스에서 정보가 점차 효율적으로 전달됨.

2. 델타 규칙 (Delta rule)

Bernard Widrow와 Marcian Hoff가 주장한 규칙. (Widrow-Hoff learning rule 이라고도 부름)

다음과 같은 규칙이 있음.

- 출력값과 정답의 오차가 커질수록 가중치 수정량도 커짐.

- 입력값이 커질수록 가중치 수정량이 커짐.

에타는 학습률(learning rate) 상수.

이상적인 상태에서 벗어날수록 이상적인 형태로 돌아가기 위한 가중치 수정량이 커짐.

[역전파 (Backpropagation)]

신경망을 학습시킬 때 이용하는 알고리즘. 

출력값과 정답의 오차를 네트워크에서 역전파시켜 네트워크의 weight와 bias를 최적화시킴.

순전파로 얻은 output과 correct와의 오차를 하나씩 층을 거슬러 올라가며 역방향으로 전파.

이 때 전파시킨 오차에 근거해 각 층의 weight와 bias 수정량을 구함.

역전파 이해를 위해 5가지 요소를 먼저 이해해야 함.

1. 훈련데이터와 테스트 데이터 (training data and test data)

2. 손실함수 (loss function)

3. 경사하강법(gradient decent)

4. 최적화 알고리즘

5. 배치 사이즈