CH6. 딥러닝 - Overfitting을 방지하기 위한 방법

Overfitting 

: Deep Neural Network(은닉층의 개수가 많은 경우)에서 과대적합이 발생할 확률이 높다.

 

※ 모델링 목적

• 학습용 데이터에 있는 패턴으로, 그 외 데이터(모집단 전체)를 적절히 예측
• 모델은 학습용 데이터를 잘 설명할 뿐만 아니라, 다른 데이터도 잘 예측해야 한다. 즉 일반화된 성능을 기대한다.
• 일반화 = 적절한 복잡도 = 적절한 예측력

1. 데이터의 양을 늘리기

모델은 데이터의 양이 적을 경우, 해당 데이터의 특정 패턴이나 노이즈까지 쉽게 암기하기 되므로 과적합 현상이 발생할 확률이 늘어난다. 그렇기 때문에 데이터의 양을 늘릴 수록 모델은 데이터의 일반적인 패턴을 학습하여 과적합을 방지할 수 있다. 딥러닝에서 데이터 증식 또는 증강(Data Augmentation)을 통해 기존의 데이터를 조금씩 변형하고 추가하여 데이터의 양을 늘리기도 한다.(Rotation, Shifting, Flipping...) Data Augmentation

 

2. 모델의 복잡도 줄이기

• 은닉층 & 노드 수 조절하기
• 가중치 규제 적용하기
• EarlyStopping
• Dropout/DropConnect
• BatchNormalization