Neural Network 개요

Udemy The Complete Neural Network Bootcamp 참고

Perceptron의 기본 형태

 

Gradient Descent

Back Propagation

예측이 실제값과 얼마나 다른지 오차를 계산하고, 그 오차를 역방향으로 전달하여 가중치 조정하는 방식

 

데이터 처리 단위

• Sample: 하나의 데이터 포인트
• Batch: 학습 데이터 셋을 나누는 단위, Batch의 크기가 곧 Sample의 개수
• Mini Batch: Batch를 작은 단위로 나눈 것
• Epoch: 학습 데이터 셋 전체를 한번 학습하기 위해 반복한 횟수
• e.g. 이미지 분류 문제에서 총 10,000장의 Sample을 준비했다고 한다면, Sample의 개수이자 Batch의 크기는 10,000.
  10,000장의 이미지를 한 번에 1,000장씩 학습한다고 한다면 Mini Batch의 크기는 1,000 이고 Epoch은 10.