Archive

Udemy The Complete Neural Network Bootcamp 참고 기존 데이터를 인위적으로 변형해 새로운 데이터를 만들어내는 기법데이터의 다양성을 높여 over-fitting 방지하고 성능 향상시킴활용 예시: vision-based self-supervised learning, label 없이도 image data를 학습할 수 있도록 설계된 deep learning 기법으로, data augmentation을 통해 변형된 이미지가 변형 전 이미지와 같음을 학습하곤 함방법Center CropFive Crop: crops the given image into four corners and the central cropColor Jitter: randomly changes 밝기, saturat..

Udemy The Complete Neural Network Bootcamp 참고PyTorch: dynamic computational graph, 실행하면서 그래프 생성TensorFlow: static computational graph, 미리 그래프를 설계하고 실행

Udemy The Complete Neural Network Bootcamp 참고 Initialize all weights to ZERO?Weight Initialization Methodsa random number from a specific range

Udemy The Complete Neural Network Bootcamp 참고Parameter: 모델이 학습을 통해 자동으로 조정하는 값Hyperparameter: 모델의 구조나 학습 과정에 영향을 미치는 설정값으로, 연구자가 사전에 설정해야 함Tuning Learning RateConstant Learning Rate: model might never converge!Learning Rate Scheduling: 초기에는 큰 learning rate로 빠르게 학습하고, 학습이 진행될수록 learning rate 점진적으로 줄여 더 안정적으로 수렴하도록 함

Udemy The Complete Neural Network Bootcamp 참고Optimizationbatch gradient descenttake all the samples in one iteration = 전체 사용해 updatenumber of iterations per epoch = 1stochastic gradient descenttake one sample at each iteration = 한 sample로 각각 updatenumber of iterations per epoch = number of samplesmini-batch gradient descenttake the best of both batch and stochastic gradient descentnumber of iter..

Udemy The Complete Neural Network Bootcamp 참고 Over-fitting이란모델이 학습 데이터에 과도하게 맞춰져, 새로운 데이터에 대한 일반화 성능이 저하되는 현상How to reduce over-fittingtrain more datadata augmentation: 기존 데이터를 변형해 새로운 데이터 생성하고 학습에 활용use early stoppingvalidation error 커지기 시작하면 모델 학습 즉시 중단reduce number of features유의미한 feature인지 t-test로 확인use regularization제외하는 feature 없이 모두 포함하지만, 가중치에 penalty 부과해 각 feature의 영향력 제한over-fitting은 모..

Udemy The Complete Neural Network Bootcamp 참고 Softmax FunctionSigmoid FunctionTanh FunctionReLU and PReLU FunctionELU FunctionOthers

Udemy The Complete Neural Network Bootcamp 참고 L1 L2 Huber LossCross Entropy LossBinary Cross Entropy LossKL Divergence LossContrastive Loss and Triplet Ranking LossHinge Loss

Udemy The Complete Neural Network Bootcamp 참고Perceptron의 기본 형태 Gradient DescentBack Propagation예측이 실제값과 얼마나 다른지 오차를 계산하고, 그 오차를 역방향으로 전달하여 가중치 조정하는 방식 데이터 처리 단위Sample: 하나의 데이터 포인트Batch: 학습 데이터 셋을 나누는 단위, Batch의 크기가 곧 Sample의 개수Mini Batch: Batch를 작은 단위로 나눈 것Epoch: 학습 데이터 셋 전체를 한번 학습하기 위해 반복한 횟수e.g. 이미지 분류 문제에서 총 10,000장의 Sample을 준비했다고 한다면, Sample의 개수이자 Batch의 크기는 10,000. 10,000장의 이미지를 한 번에 1,000장..