[ML] Ch.3 (2) 선형 회귀

안녕하세요!

Tenma입니다.

 

 

 

---

 

 

이번 장에서는 (2) 선형 회귀를 다루며

k- 최근접 이웃 회귀와 선형 회귀 알고리즘의 차이를 이해하고 사이킷런을 사용해 여러가지 선형 회귀 모델을 만들어 보겠습니다

 

 

 

---

 

Ch.3 (2) 선형 회귀

k-최근접 이웃의 한계

"""### 선형회귀 """

"""## k-최근접 이웃의 한계"""

import numpy as np

# 특성 : 길이

perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0,

       21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7,

       23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5,

       27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0,

       39.0, 39.0, 39.0, 40.0, 40.0, 40.0, 40.0, 42.0, 43.0, 43.0, 43.5,

       44.0])

# 타깃 : 무게

perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,

       115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,

       150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,

       218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,

       556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,

       850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,

       1000.0])

# 훈련 세트와 테스트 세트

from sklearn.model_selection import train_test_split

train_input, test_input, train_target, test_target = train_test_split(perch_length, perch_weight, random_state=42)

# 2차원 배열로 변경

train_input = train_input.reshape(-1,1)

test_input = test_input.reshape(-1,1)

print(train_input.shape,test_input.shape)

# 이웃의 개수를 3으로 수정

from sklearn.neighbors import KNeighborsRegressor

knr = KNeighborsRegressor(n_neighbors=3)

knr.fit(train_input, train_target)

print(knr.predict([[50]]))

 

[출력]

(42, 1) (14, 1)
[1033.33333333]

 

*문제 발생!

=> 50cm의 농어의 실제무게는 1500g 이지만 예측 값은 1033.33g 이 나왔다!

 

 

 

원인을 파악하기 위해 산점도를 그려봅시다!

import matplotlib.pyplot as plt

# 50cm 농어의 이웃을 구합니다

distance, indexes = knr.kneighbors([[50]])

# 훈련 세트의 산점도를 그립니다.

plt.scatter(train_input, train_target)

# 훈련 세트 중에서 이웃 샘플만 다시 그립니다.

plt.scatter(train_input[indexes], train_target[indexes], marker='D')

# 50cm 농어 데이터

plt.scatter(50, 1033, marker='^')

plt.xlabel('length')

plt.ylabel('weight')

plt.show()

50cm의 농어

 

=>kneighbors() 메서드를 통해 이웃들을 확인한 그래프 입니다

 

 

 

샘플 타깃(50cm의 농어)의 평균을 구해봅시다.

print(np.mean(train_target[indexes])

 

[출력]

1033.3333333333333

 

 

 

이번엔 100cm의 농어를 예측해봅시다.

print(knr.predict([[100]]))

 

[출력]

[1033.33333333]

 

 

50cm 농어와 100cm 농어의 예측값이 동일하게 나오네요

 

그래프를 그려서 한번 확인 해 봅시다

# 100cm 농어의 이웃을 구합니다.

distance, indexes = knr.kneighbors([[100]])

# 훈련 세트의 산점도를 그립니다

plt.scatter(train_input, train_target)

# 훈련 세트 중에서 이웃 샘플만 다시 그립니다

plt.scatter(train_input[indexes], train_target[indexes], marker='D')

# 100cm 농어 데이터

plt.scatter(100,1033,marker='^')

plt.xlabel('length')

plt.ylabel('weight')

plt.show()

100cm의 농어

 

=> 훈련 세트의 범위를 넘어가서 농어의 길이가 아무리 길어도 이웃이 같으므로 동일한 값을 예측하겠네요

 

 

*머신러닝 모델은 주기적으로 훈련해야 한다!

: 시간과 환경이 변하면서 데이터도 바뀌기 때문에 주기적으로 새로운 훈련 데이터로 모델을 훈련 시켜야 합니다.

 

 

 

---

 

선형 회귀

*선형 회귀란?

: 대표적인 회귀 알고리즘으로 특성이 하나인 경우 직선을 학습하는 알고리즘입니다.

 

 

분류 알고리즘과 비슷하게 선형 회귀 클래스에도 fit(), score(), predict() 메서드가 존재합니다.

"""## 선형 회귀"""

from sklearn.linear_model import LinearRegression

lr = LinearRegression()

# 선형 회귀 모델을 훈련합니다.

lr.fit(train_input, train_target)

# 50cm 농어에 대해 예측합니다.

print(lr.predict([[50]]))

 

[출력]

[1241.83860323]

 

=> k-최근접 이웃회귀에 비해 선형 회귀가 더 높은 값으로 예측했음을 알 수 있습니다.

출처 : 유튜브 <혼공머신 강의>

 

 

직선을 그리기 위해선 기울기와 절편이 필요합니다.

 

 

코드를 통해 기울기와 절편을 알아 봅시다!

# 일차 직선의 방정식의 계수와 상수 (모델 파라미터)

print(lr.coef_, lr.intercept_)

 

[출력]

[39.01714496] -709.0186449535477

 

=> 여기서 coef_ 는 coefficient (계수) 또는 weight (가중치)라고 부릅니다.

 

 

* 모델 파라미터

: 모델 파라미터는 머신러닝에서 찾은 값이라는 의미로 위에서의 coef_ 와 intercept_ 를 의미합니다.

 

* 모델 기반 학습 vs 사례 기반 학습

: k-최근접 이웃에는 모델 파라미터 없이 훈련세트를 저장해 훈련 하는데 이런 방식을 사례 기반 학습이라 하고

선형 회귀와 같이 최적의 모델 파라미터를 찾는 과정을 모델 기반 학습이라고 합니다.

 

 

이제 찾은 직선을 그려보겠습니다.

 

# 훈련 세트의 산점도를 그립니다.

plt.scatter(train_input, train_target)

# 15에서 50까지 1차 방정식 그래프를 그립니다.

plt.plot([15,50], [15*lr.coef_+lr.intercept_, 50*lr.coef_+lr.intercept_])

# 50cm 농어 데이터

plt.scatter(50, 1241.8, marker='^')

plt.xlabel('length')

plt.ylabel('weight')

plt.show

선형 회귀의 직선

=> 50cm의 농어가 직선의 맨 끝에 있습니다.

=> 길이가 작은경우 무게가 음수가 나오네요?

 

 

훈련 세트와 테스트 세트를 평가해 봅시다.

print(lr.score(train_input, train_target))

print(lr.score(test_input, test_target))

 

[출력]

0.939846333997604
0.8247503123313558

 

=> 훈련 세트와 테스트 세트의 점수가 모두 낮은 과소적합이 발생했네요

 

 

---

다항 회귀

선형 회귀에서의 문제점을 보완하기 위한 방법을 생각해 봅시다!

다항 회귀

2차 방정식을 활용해볼텐데요

 

우선 길이의 제곱 항이 훈련세트에 추가 되어야 합니다

 

"""## 다항회귀"""

train_poly = np.column_stack((train_input**2, train_input))

test_poly = np.column_stack((test_input**2, test_input))

print(train_poly.shape, test_poly.shape)

 

[출력]

(42, 2) (14, 2)

=> 길이의 제곱항을 추가한 2차원 리스트를 만들었습니다.

=> **2 도 넘파이 브로드 캐스팅이 수행됩니다.

 

 

 

여기서 훈련 세트에는 제곱항을 추가했지만 타깃 값은 그대로 사용한다는 점을 알아야 합니다.

 

lr = LinearRegression()

lr.fit(train_poly, train_target)

print(lr.predict([[50**2,50]]))

 

[출력]

[1573.98423528]

 

=> 선형 회귀 보다도 높은 무게를 예측하고 실제 값과도 유사한 값을 예측했음을 알 수 있습니다.

 

 

 

 

계수와 절편을 알아봅시다

print(lr.coef_, lr.intercept_)

 

[출력]

[  1.01433211 -21.55792498] 116.0502107827827

 

 

* 2차 방정식이 선형 회귀?

: 여기서 길이의 제곱을 다른 변수로 치환하면 ' a x 변수 + b x 길이 + c' 처럼 변수와 길이의 선형 관계로 표현 가능할 수있습니다.

 

 

이처럼 다항식을 사용한 선형 회귀를 다항 회귀(polynomial regression)이라고 합니다.

 

 

# 구간별 직선을 그리기 위해 15에서 49까지 정수 배열을 만듭니다

point = np.arange(15,50)

# 훈련 세트의 산점도를 그립니다.

plt.scatter(train_input, train_target)

# 15에서 49까지 2차 방정식 그래프를 그립니다.

plt.plot(point, 1.01*point**2 - 21.6*point + 116.05)

# 50cm 농어 데이터

plt.scatter([50], [1574], marker='^')

plt.xlabel('length')

plt.ylabel('weight')

plt.show()

다항 회귀

=> 선형 회귀 모델보다 더 나은 모델이 완성 되었네요!

 

그럼 평가를 해봅시다

 

print(lr.score(train_poly, train_target))

print(lr.score(test_poly, test_target))

 

[출력]

0.9706807451768623
0.9775935108325122

 

=> 테스트 세트의 점수가 향상되었지만 여전히 테스트 세트 점수가 높아 과소적합이 남아 있는것 같긴 합니다.

 

 

 

---

 

이번 장에서는 직선의 방정식을 찾고 다항 회귀를 이용해 농어의 길이로 무게를 예측해 보았는데요

 

다항식에서의 계수와 절편에 따라 예측이 달라질 수 있음을 알 수 있었습니다.

 

하지만 여전히 과소적합이 남아 있었습니다.

 

다음장에서는 좀 더 복잡한 모델로 이를 해결해 보겠습니다!!

 

감사합니다.