Hyperparameter Tuning

Udemy The Complete Neural Network Bootcamp 참고

• Parameter: 모델이 학습을 통해 자동으로 조정하는 값
• Hyperparameter: 모델의 구조나 학습 과정에 영향을 미치는 설정값으로, 연구자가 사전에 설정해야 함

Tuning Learning Rate

• Constant Learning Rate: model might never converge!
• Learning Rate Scheduling: 초기에는 큰 learning rate로 빠르게 학습하고, 학습이 진행될수록 learning rate 점진적으로 줄여 더 안정적으로 수렴하도록 함