Over-fitting

Udemy The Complete Neural Network Bootcamp 참고

Over-fitting이란

모델이 학습 데이터에 과도하게 맞춰져, 새로운 데이터에 대한 일반화 성능이 저하되는 현상

---

How to reduce over-fitting

train more data

• data augmentation: 기존 데이터를 변형해 새로운 데이터 생성하고 학습에 활용

use early stopping

• validation error 커지기 시작하면 모델 학습 즉시 중단

reduce number of features

• 유의미한 feature인지 t-test로 확인

use regularization

• 제외하는 feature 없이 모두 포함하지만, 가중치에 penalty 부과해 각 feature의 영향력 제한
• over-fitting은 모델이 학습 데이터의 noise나 irrelevant feature까지 학습하는 현상이기에, 가중치가 너무 커지는 것을 막는다면 어느 정도 예방 가능할 것!

drop out

• 학습 과정에서 각 mini batch마다 randomly disables neurons
• 일반적으로 50% 정도를 비활성화(0을 출력)하고, testing할 때는 모든 neuron을 활성화한 상태로 진행

drop connect

• neuron 자체가 아닌 weight를 drop

scaling data