모델 평가와 평가 지표
모델 평가
- 분류, 배열, 회귀 등 문제 유형에 따라 서로 다른 지표를 사용해 평가를 진행
- 적절한 평가 지표를 사용할 수 없다면 모델 자체의 문제를 발견할 수 없을 뿐 아니라 잘못된 결론을 내릴 수 있음
정확도(accuracy)의 한계
- 정확하게 분류된 샘플 개수를 총 샘플 개수로 나눈 것
$$ Accuracy = \frac{n_{correct}}{n_{total}} $$ - $n_{correct}$ : 정확하게 분류된 샘플 개수
- $n_{total}$ : 전체 샘플 개수
- 샘플 구성이 잘못돼 답이 아닌 음성 샘플(negative)이 전체 데이터에서 99%를 차지하고 있다면, 분류기가 모든 샘플에 대한 예측값을 음성으로 예측할지라도 99%의 정확도를 나타냄
=> 클래스별로 샘플 비율이 불균형한 경우, 정확도는 불균형 데이터의 영향을 많이 받음
정밀도(precision)와 재현율(recall)
- 정밀도(precision) : 분류기가 양성 샘플이라고 분류한 것 중에 실제 양섬 샘플인 것의 비율
- 재현율(recall) : 실제 양성 샘플인 것 중에 분류기가 정확히 분류해 낸 양성 샘플의 비율
- F1 score = 정밀도와 재현율의 조화 평균
$$ F1 = \frac{2 * precision * recall}{precision + recall} $$
평균제곱근오차(RMSE)
- 회귀모델을 평가할 때 자주 사용 $$ RMSE = \sqrt{\frac{\sum_{i=1}^{n} (y_i - \hat y_i)^2}{n}}$$
- $y_i$ : i번째 샘플의 실제 값
- $\hat y_i$ : i번째 샘플의 예측값
- n : 샘플의 개수
- 일반적으로 회귀모델의 예측값이 실제 값에서 벗어난 정도를 잘 반영
- 문제점 : 벗어난 정도가 매우 큰 outlier가 존재할 경우 이 소수의 특이점 때문에 오차 대비 RMSE 지표가 매우 높아짐
해결방법
- outlier가 단순 노이즈일 경우 : 데이터 전처리 과정에서 필터링
- 단순 노이즈가 아닐 경우 : 모델의 예측 성능을 향상시켜 특이점 데이터들이 만들어 낸 메커니즘을 모델에 포함
- 더 적절한 평가 지표를 사용 = MAPE(Mean absolute percent error, 평균절대비오차) : 각 포인트의 오차들을 정규화해 각 outlier에 의해 발생하는 절대 오차의 영향을 낮춤
$$ MAPE = \sum_{i=1}^{n} |\frac{y_i - \hat y_i}{y_i}| * \frac{100}{n}$$
★ 더 많은 내용 보러가기 click click! ★