Neural Networks

• 생물학적 단일 뉴런

• 인공 단일 뉴런 - Perceptron

  여러 개의 퍼셉트론이 층마다 정렬, 여러 층으로 구성된 Network → 인공신경망

• 활성 함수

  • Sigmoid
  • Hyperbolic Tangent
  • ReLU

Universality

• Universal Function Approximation Theorem
  • 시벤코 정리
  • 1개의 히든 레이어를 가진 Neural Network를 이용해 어떠한 함수든 근사시킬 수 있다는 이론
  • 활성 함수는 비선형 함수여야 함

Learning Problems

• 지도 학습
• 비지도 학습
  • NLP: charRNN, word2vec ...
  • CV: pixelCNN, VAE, GAN ...
• 강화 학습

Empirical Risk Minimization / Loss Functions

• 선형 회귀

  • 경험적 위험도 최소화

  • 모델의 성능 평가 → 손실 함수

    손실 함수를 최소값으로 최적화

• 신경망 회귀

  • MSE
  • Huber

• 신경망 분류

  • cross-entropy

Gradient Descent

• 최적화

  손실을 최소화하기 위해 파라미터 조합을 찾는 과정

• 경사하강법

• 확률적 경사하강법

Backpropagation / Automatic Differentiation