위클리 페이퍼 # 11 - 지도 학습과 비지도 학습 / 손실함수

Q. 지도 학습과 비지도 학습의 차이는 무엇인가요?

A.

• 지도학습과 비지도 학습의 차이점  (출처: https://https://aws.amazon.com/ko/compare/the-difference-between-machine-learning-supervised-and-unsupervised/ww.waveon.io/blog/ab_test) 
  • 지도 학습 알고리즘은 알고리즘의 입력 및 출력을 모두 지정하는 샘플 데이터에서 훈련된다.
    • 예를 들어, 데이터는 해당 숫자를 나타내는 주석이 달린 손으로 쓴 숫자의 이미지일 수 있다.
    • 지도 학습 시스템은 레이블이 지정된 데이터가 충분히 주어지면 결국 손으로 쓴 각 숫자와 관련된 픽셀 및 모양의 클러스터를 인식하게 된다. 
  • 반면, 비지도 학습 알고리즘은 레이블이 지정되지 않은 데이터에서 훈련되며, 새로운 데이터를 검색하며 알 수 없는 입력과 미리 결정된 출력 사이에 의미 있는 연결을 설정한다.
    • 예를 들어, 비지도 학습 알고리즘은 다양한 뉴스 사이트의 뉴스 기사를 스포츠 및 범죄와 같은 일반적인 범주로 그룹화할 수 있다.

 

 

Q. 손실 함수(loss function)란 무엇이며, 왜 중요한가요?

A.

• 손실함수란?  (출처: https://modulabs.co.kr/blog/loss-function-machinelearning/) 
  • 손실함수는 머신러닝이나 딥러닝 모델이 예측한 값과 실제 값 사이의 차이를 측정하는 함수. 이를 통해 모델의 성능을 평가하고, 모델이 어떤 방향으로 개선되어야 할지 알려주는 역할을 한다. 손실함수의 값을 최소화하는 것이 모델 학습의 목표라고 할 수 있다.
• 손실함수의 종류  (출처: https://modulabs.co.kr/blog/loss-function-machinelearning/) 
  • Mean Squared Error (MSE)
    
    • MSE는 회귀 문제에서 많이 사용되는 손실함수.
    • 예측값과 실제값의 차이를 제곱한 후 평균을 취하는 방식으로 계산.
  • Binary Cross-Entropy
    • 이진 분류 문제에서 사용되는 손실함수.
    • 예측 확률과 실제 클래스 사이의 차이를 측정.
  • Categorical Cross-Entropy
    • 다중 클래스 분류 문제에서 사용되는 손실함수.
    • 각 클래스에 대한 예측 확률과 실제 클래스 사이의 차이를 측정.
  • Huber Loss
    • Huber Loss는 MSE와 유사하지만, 이상치에 덜 민감.
    • 오차가 작을 때는 MSE와 동일하게 제곱 오차를 사용하지만, 오차가 클 때는 절댓값 오차를 사용. 
  • Hinge Loss
    • Hinge Loss는 Support Vector Machine (SVM)에서 주로 사용되는 손실 함수.
    • 이진 분류 문제에서 사용되며, 올바른 클래스에 대한 예측값이 1보다 크고, 틀린 클래스에 대한 예측값이 -1보다 작도록 encourages 한다.
  • Kullback-Leibler Divergence
    • KL Divergence는 두 확률 분포 사이의 차이를 측정하는 데 사용.
    • 머신러닝에서는 주로 Variational Autoencoder (VAE)나 Generative Adversarial Network (GAN)에서 사용.
  • Focal Loss
    • Focal Loss는 객체 탐지 문제에서 클래스 불균형을 다루기 위해 제안.
    • Cross-Entropy Loss에 가중치를 부여하여, 잘못 분류된 예제에 더 집중하도록 한다.
• 손실함수를 왜 써야 할까?  (출처: https://modulabs.co.kr/blog/loss-function-machinelearning/)
  • 예를 들어, 우리가 집 가격을 예측하는 모델을 만든다고 가정해봅시다. 이 때, MSE를 손실함수로 사용할 수 있겠죠. 모델이 예측한 가격과 실제 가격의 차이를 제곱하여 평균을 구하면, 모델의 예측 성능을 평가할 수 있습니다. 이를 바탕으로 모델이 실제 가격에 더 가까운 예측을 하도록 학습을 진행할 수 있습니다.
  • 만약 손실함수를 사용하지 않는다면, 모델이 어떤 방향으로 개선되어야 할지 알 수 없겠죠. 손실함수는 모델 학습의 나침반 역할을 해주는 셈입니다.