비용 함수(Cost Function, 또는 손실 함수)

비용 함수(Cost Function) 또는 손실 함수(Loss Function)는 머신러닝과 딥러닝에서 모델의 성능을 평가하고 최적화하기 위해 사용되는 함수이다. 모델의 예측값과 실제 타겟값 사이의 차이를 나타내며, 이 차이를 최소화하는 방향으로 모델을 학습시키는 데 사용된다.

비용 함수의 목적은 모델이 얼마나 정확하게 예측을 수행하고 있는지를 측정하여, 모델을 향상시키기 위한 방향을 제시하는 것이다. 비용 함수의 값이 작을수록 모델의 예측이 실제 데이터와 가까워지며, 이에 따라 모델의 성능이 개선된다.

주로 사용되는 비용 함수는 다음과 같은 것들이 있다.

 

1. 평균 제곱 오차 (Mean Squared Error, MSE):
   실제 타겟값과 모델의 예측값 사이의 차이를 제곱하여 평균한 값이다. 회귀 문제에서 주로 사용된다.
   
   
2. 크로스 엔트로피 손실 (Cross-Entropy Loss):
   분류 문제에서 사용되며, 이진 분류에서는 이진 크로스 엔트로피, 다중 클래스 분류에서는 범주형 크로스 엔트로피가 사용된다.
   
   
3. 힌지 손실 (Hinge Loss):
   서포트 벡터 머신(Support Vector Machine, SVM)과 같은 알고리즘에서 사용되는 비용 함수로, 분류 문제에서 사용된다.
   
   
4. 평균 절대 오차 (Mean Absolute Error, MAE):
   평균 제곱 오차와 유사하지만 제곱을 취하지 않고 실제 타겟값과 모델의 예측값 사이의 절대값의 평균을 계산한다.