Archive

Udemy The Complete Neural Network Bootcamp 참고Parameter: 모델이 학습을 통해 자동으로 조정하는 값Hyperparameter: 모델의 구조나 학습 과정에 영향을 미치는 설정값으로, 연구자가 사전에 설정해야 함Tuning Learning RateConstant Learning Rate: model might never converge!Learning Rate Scheduling: 초기에는 큰 learning rate로 빠르게 학습하고, 학습이 진행될수록 learning rate 점진적으로 줄여 더 안정적으로 수렴하도록 함

Udemy The Complete Neural Network Bootcamp 참고Optimizationbatch gradient descenttake all the samples in one iteration = 전체 사용해 updatenumber of iterations per epoch = 1stochastic gradient descenttake one sample at each iteration = 한 sample로 각각 updatenumber of iterations per epoch = number of samplesmini-batch gradient descenttake the best of both batch and stochastic gradient descentnumber of iter..

Udemy The Complete Neural Network Bootcamp 참고 Over-fitting이란모델이 학습 데이터에 과도하게 맞춰져, 새로운 데이터에 대한 일반화 성능이 저하되는 현상How to reduce over-fittingtrain more datadata augmentation: 기존 데이터를 변형해 새로운 데이터 생성하고 학습에 활용use early stoppingvalidation error 커지기 시작하면 모델 학습 즉시 중단reduce number of features유의미한 feature인지 t-test로 확인use regularization제외하는 feature 없이 모두 포함하지만, 가중치에 penalty 부과해 각 feature의 영향력 제한over-fitting은 모..