Underfitting vs. overfitting

Underfitting (과소적합)

• 모델이 너무 단순해서 데이터의 내재된 구조를 학습하지 못할 때 발생 ← 훈련 세트와 테스트 세트의 크기가 매우 작은 것이 원인
• 훈련 샘플에서조차도 부정확한 예측
• 훈련 세트보다 테스트 세트의 점수가 높거나 두 점수가 모두 너무 낮은 경우

과소적합 해결방법

• 모델 파라미터가 더 많은 강력한 모델을 선택
• 학습 알고리즘에 더 좋은 특성을 제공 (특성 공학)
• 모델의 제약을 줄이기(e.g 규제 하이퍼파라미터를 감소시키기)

---

Overfitting (과대적합)

• 모델이 훈련 데이터에 너무 잘 맞지만 일반성이 떨어짐 → 실전에 투입해 새로운 샘플에 대한 예측을 만들 때 잘 동작하지 않음
• 훈련 데이터에 있는 잡음의 양에 비해 모델이 너무 복잡할 때 발생
• 훈련 세트에서 점수가 굉장히 좋았는데 테스트 세트에서 점수가 굉장히 나쁜 경우

과대적합 해결방법

• 파라미터 수가 적은 모델을 선택(e.g 고차원 다항 모델보다 선형 모델)
• 훈련 데이터에 있는 특성 수를 줄이기
• 모델에 제약을 가하여 단순화 → 규제(regularization)
• 훈련 데이터를 더 많이 모으기
• 훈련 데이터의 잡음을 줄이기(e.g 오류 데이터 수정과 이상치 제거)

---

★ 더 많은 내용 보러가기 click click! ★