2.12 모델 평가

데이터를 수집하고 모델을 교육한 후에는 모델의 성능을 평가할 수 있다. 평가에 사용되는 매트릭스는 정의한 문제에 특정할 수 있다. 머신러닝에 대한 이해도가 높아짐에 따라 효과적으로 평가할 수 있는 다양한 매트릭스를 탐색할 수 있다.

 

모델 정확도 사용

모델 정확도는 꽤 일반적인 평가 지표이다. 정확도는 모델이 정확히 맞추는 예측 비율이다.

예를 들어, 꽃잎 길이와 같은 측정 가능한 세부 정보를 바탕으로 꽃을 일반적인 두 종중 하나로 식별하는 모델을 만들었다고 상상해보자. 모형이 올바른 종을 예측하는 빈도를 알고자 할때, 모델의 정확성을 살펴봐야 한다.

 

---

확장된 학습

로그 손실 사용

모델이 생성하는 예측에 대해 얼마나 불확실한지 계산하는것. 불확실성은 모델이 생성되는 예측이 얼마나 정확하다고 생각하는지를 의미한다.

예를 들어, 고객이 재킷이나 티셔츠를 살 가능성이 얼마나 되는지 예측하려고 한다고 가정하자. 로그 손실은 주어진 예측에 대한 모델의 불확실성을 이해하는 데 사용될 수 있다. 모델은 고객이 티셔츠를 살 것이라는 것을 5%의 확신을 가지고 예측할 수 있다. 다른 예로, 모델은 고객이 티셔츠를 살 것이라고 80% 확실하게 예측할 수 있다. 로그 손실을 통해 모형에서 예측이 얼마나 정확하다고 믿는지를 측정한다.

두 가지 경우 모두 모델이 고객이 티셔츠를 구매할 것이라고 예측하지만 예측에 대한 모델의 확실성은 바뀔 수 있다.

 

---

반복되는 프로세스를 기억해라

지금까지의 모든 단계는 반복성이 높으며 프로젝트 진행 중에 변경 또는 범위 조정이 가능하다. 각 단계에서 이전 단계로 돌아가서 몇 가정을 다시 평가해야 할 수 있다. 지극히 정상적인 경우.

 

---

용어

로그 손실

모델이 생성되는 예측에 대해 얼마나 불확실한가 계산

 

모델 정확성

모형이 맞히는 예측의 일부

 

---

퀴즈

선형 회귀 평가 방법

MAE (Mean absolute error)

실제 값과 예측 값 사이의 절대 차이의 평균을 구하여 측정. 이 차이는 최소로 하는 것이 이상적이다.

 

RMSE (Root mean square error)

MAE와 유사하지만 수정된 접근법을 취해 오류가 큰 값은 더 높은 패널티를 받는다. RMSE는 예측과 실제 값 사이의 평균 제곱 차이의 제곱근을 구한다.

 

R^2 (Coefficient of determination or R-squared)

결과의 총 변동 비율에 기초하여 모델에서 관측 결과가 실제로 얼마나 잘 예측되는지 측정한다.