Linear regression

Linear regression

• 비교적 간단하고 성능이 뛰어남
• 특성이 하나인 경우 어떤 직선을 학습
• 특성의 개수를 크게 늘리면 선형모델이 강력해짐. But, 특성이 너무 많으면 training set에서 과대적합, test set에서 과소적합

# 기본 형태
y = ax + b

• 입력 특성의 가중치 합과 편향(bias or intercept)라는 상수를 더해 예측을 만듦

사이킷런에서 선형회귀

from sklearn.linear_model import LinearRegression
lr = LinearRegression()

# 훈련
lr.fit(train_input, train_target)

# 예측
lr.predict(new_value)

# LinearRegression 클래스가 찾은 a와 b 값은 각각 lr.coef_, lr.intercept_에 저장
print(lr.coef_, lr.intercept_)

# 훈련세트 score
print(lr.score(train_input, train_target))

# 테스트세트 score
print(lr.score(test_input, test_target))

• coef_, intercept_는 model parameter
• 모델 기반 학습 = 최적의 모델 파라미터를 찾는 것
• 사례 기반 학습 = 훈련 세트를 저장하는 것이 훈련의 전부. 모델 파라미터가 없음

---

Linear regression의 성능 측정

• 평균 제곱근 오차 (RMSE)
  
• RMSE를 최소화하는 모델파라미터를 찾아야 함
• 실제로는 RMSE보다 평균 제곱 오차(MSE)를 최소화하는 것이 같은 결과를 내면서 더 간단
  

★ 더 많은 내용 보러가기 click click! ★