[개념정리] Logistic Regression과 MLP의 차이

 

 

 

 

 

공부를 하다보니 Logistic Regression을 Linear Logistic Regression이라고 적어둔 것을 봤다.

이를 찾아보니 Logistic Regression이 Linear 하다고 한다. 

이해가 안됐다.

 

이번에는 Logistic Regression과 Multi-Layer Perceptron (MLP)이 다르단다.

둘 다 그냥 Linear Regression의 반대말인데... 는 틀렸다.

 

둘은 엄연히 차이점이 있었다.

 

우선 아래의 사이트에서 다음과 같이 적혀있다.

https://scikit-learn.org/stable/modules/neural_networks_supervised.html

 

MLP is different from logistic regression, in that between the input and the output layer, there can be one or more non-linear layers, called hidden layers. 

 

즉, logistic regression은 input layer -> output layer 로 연결되어 있는 반면에 (= hidden layer가 없다)

MLP는 input layer -> hidden layer -> output layer로 구성되어 있다고 적혀있다.

 

 

조금 더 상세한 설명을 원해서 아래의 사이트를 찾아냈다.

https://stats.stackexchange.com/questions/43538/what-is-the-difference-between-logistic-regression-and-neural-networks

 

For a simpler summary:

Logistic regression: The simplest form of Neural Network, that results in decision boundaries that are a straight line

Neural Networks: A superset that includes Logistic regression and also other classifiers that can generate more complex decision boundaries.

 

그림만 봐도 차이를 알 수 있다. 

MLP는 hidden layer를 통해서 Decision Boundary를 더욱 잘 나눌 수 있다.

반면, logistic regression은 단 하나의 straight line을 통해 두개의 부분으로만 나눌 수 있다.

 

 

 

그럼 이제 또 다른 의문이 생긴다.

logistic regression를 생각하면 구부정한 라인이 생각나는데.... 왜 straight line 이지..?

 

이 의문은 아래의 사이트에서 해결할 수 있다.

https://dgkim5360.tistory.com/entry/why-is-logistic-regression-called-linear-method

"결론 먼저 말하자면 logistic regression이 제공하는 decision boundary가 linear하기 때문에 linear method로 분류된다. Linear regression처럼 linear equation을 풀지는 않지만, 그보다 훨씬 복잡한 계산 과정을 통했더라도 좌우지간 linear decision boundary를 제공하기 때문인 것이다."

 

decision boundary가 linear했기 때문에 linear logistic regression이라고 부르며

decision boundary가 straight line이다.

 

이제 의문이 풀렸다 :)