에포크와 배치(Epoch and Batch)

[에포크와 배치]

모든 훈련 데이터를 1회 학습하는 것을 1에포크(epoch)라고 함.

훈련 데이터의 샘플은 여러개로 묶여서 학습 되는데 이 샘플의 묶음을 배치(batch)라고 함.

1 epoch 에 이용되는 훈련 데이터는 여러 개의 batch로 분할됨.

배치 사이즈(batch size)는 하나의 batch에 포함되는 샘플의 수.

가중치와 편향을 수정하는 간격이라고도 함.

배치 사이즈가 너무 크면 학습 속도가 느려지고, 너무 작으면 각 실행값의 편차가 생겨 전체 결과값이 불안정해질 수 있음.

따라서 배치 사이즈는 학습 효율에 큰 영향을 주기 때문에 중요함.

[배치 사이즈에 따른 학습의 종류]

1. 배치 학습 

배치 사이즈 == 전체 훈련 데이터의 수

1 epoch (전체 데이터를 한번다보고)마다 가중치와 편향을 수정.

일반적으로 안정된 학습이 진행되고 다른 두 종류의 학습에 비해 속도는 빠르지만 국소 최적해에 빠지기 쉬움.

[배치 학습에서의 오차]

N은 훈련 데이터의 수, Ei는 개별 데이터의 오차.

[가중치의 기울기]

개별 데이터마다 가중치 기울기를 계산하고 그 합계를 구하면 됨.

2. 온라인 학습(on-line)

배치 사이즈 == 1

개별 샘플마다 가중치와 편향을 수정.

안정성이 떨어지지만 국소 최적해에 빠지는 것을 방지할 수 있음.

3. 미니 배치 학습(mini batch)

배치 사이즈 == 최적의 수

훈련데이터를 작은 그룹(batch)로 분할하고 그룹마다 가중치와 편향을 수정.

무작위로 배치를 선택함. --> 상대적으로 국소 최적해에 잘 빠지지 않음.

여기서 n은 전체 훈련데이터 수인 N 보다 작거나 같음.

일반적으로 n은 100을 많이 사용함.