K-Nearest neighbor(KNN) 알고리즘

KNN classification

• 예측하려는 샘플에 가장 가까운 샘플 k개를 선택
• 이웃한 샘플의 타깃 = 어떤 클래스
• 샘플들의 클래스를 확인해 다수 클래스를 새로운 샘플의 클래스로 예측
• 테스트 세트에 있는 샘플을 정확하게 분류한 개수의 비율(=정확도)로 성능 판단

---

KNN regression

• 예측하려는 샘플에 가장 가까운 샘플 k개를 선택
• 이웃한 샘플의 타깃 = 임의의 수치
• 이웃 샘플의 수치를 사용해 새로운 샘플의 타깃을 예측 = 수치들의 평균

from sklearn.neighbors import KNeighborsRegressor
knr = KNeighborsRegressor()
knr.fit(train_input, train_target)

# 테스트 세트 점수. 타깃이 예측에 가까울수록 1에 가까움
print(knr.score(test_input, test_target))

---

결정계수(coefficient of determination, R²)

$ R^{2} = 1 - \frac{(target - predict)^2}{(target - average)^2} $

• 타깃이 예측에 아주 가까워지면 1에 가까운 값
• R²이 얼마나 좋은지 직감적으로 이해가 어려움 → MSE(mean absolute error) 계산. 타깃과 예측의 절댓값 오차를 평균해 반환

from sklearn.metrics import mean_absolute_error
test_prediction = knr.predict(test_input)
mae = mean_absolute_error(test_target, test_prediction)
print(mae)

★ 더 많은 내용 보러가기 click click! ★