최적화 알고리즘(Optimizer) [최적화 알고리즘 (Optimizer)] 효율적이고 정확하게 전역 최적해에 도착하기 위해 최적화 알고리즘의 선택은 중요. 1. 확률적 경사 하강법(Stochastic Gradient Descent, SGD) 수정할 때마다 샘플을 무작위로 선택. 장점기울기 수정 시 훈련 데이터 중에서 무작위로 샘플을 선택하기 때문에 국소 최적해에 잘 빠지지 않음.또한 식이 매우 간단. 단점다른 알고리즘처럼 학습률을 자동으로 조정해주는 파라미터가 없어 수정량의 유연한 조정이 불가함. 2. 모멘텀(Momentum) SGD에 관성을 더한 알고리즘. 는 관성의 크기를 결정하는 모멘텀 상수.는 이전 회차의 수정량. 장점관성항을 더함으로써 새로운 수정량은 이전까지의 수정량으로부터 영향을 받게 됨.그렇기에 수정량이 급격하게 변화하는 .. AI/딥러닝 기초 6년 전
은닉층 기울기 구하기 층첨자 뉴런의 수 입력층i l 은닉층 j m 출력층 k n [은닉층 기울기 구하기] 은닉층 뉴런 가중치 기울기 구하기 : 오차 E를 가중치 로 편미분한 를 구함. 는 은닉층의 활성화 함수 편미분으로 구할 수 있음. 편향 기울기 구하기 : 오차 E를 편향 로 편미분한 를 구함. 앞 층으로 전파할 구하기 : 앞층에 은닉층이 더 있을 경우 다음을 구해 전파시킴. AI/딥러닝 기초 6년 전
출력층 기울기 구하기 층첨자 뉴런의 수 입력층i l 은닉층 j m 출력층 k n [출력층 기울기 구하기] 출력층 뉴런 가중치 기울기 구하기 : 오차 E를 가중치 로 편미분한 를 구함. 편향 기울기 구하기 : 오차 E를 편향 로 편미분한 를 구함. 출력층에서 입력값 기울기 : 앞 층의 은닉층에서의 연산을 위해 출력층에서 미리 (은닉층의 출력기울기)를 계산함. AI/딥러닝 기초 6년 전
