[02] 퍼셉트론

퍼셉트론이란??

 

인공 신경망의 한 종류

1957년에 코넬 항공 연구소의 프랑크 로젠블라트에 의해 고안된 알고리즘

딥러닝의 기원이 되는 알고리즘

 

퍼셉트론은 다수의 신호를 입력받아 하나의 신호로 출력하는데,

노드(혹은 뉴런)의 가중치와 입력치를 곱한 것을 모두 합한 값이 정해진 한계(임계값;θ)를 넘어설 때 1을 출력

뉴런이 활성화한다라고 표현하기도 한다.

넘지 못하면 0 또는 -1을 출력한다.

 

각 입력 신호에는 고유한 weight(가중치)가 부여되는데, 가중치는 각 신호가 결과에 주는 영향력을 조절하는 요소로 작용한다. 즉, w가 클수록 해당 신호가 중요하다고 볼 수 있다.

 

여기서, 델타를 -b로 치환하면 식이 이런 식으로 바뀐다.

위의 식 두개는 기호 표기만 바뀌었지 그 의미는 동일하다.

여기서, b를 편향이라고 한다.

 

퍼셉트론은 입력 신호에 가중치를 곱한 값과 편향을 합하여 그 값이 0을 넘으면 1을 출력,

그렇지 않으면 0(-1)을 출력한다.

 

여기서 w1, w2(가중치)는 각 입력 신호가 결과에 주는 영향력, 즉 중요도를 조절하는 매개변수이고,

b(편향)은 뉴런이 얼마나 쉽게 활성화하느냐를 조정하는 매개변수이다.

 

 

하지만 위의 퍼셉트론은 한계점이 존재한다.

바로 AND, OR, NAND와 같은 선형 분류는 가능하며, XOR와 같은 비선형 분류가 불가능하다는 점이다.

 

선형 분류와 비선형 분류

출처 : https://ardino-lab.com/%EB%8B%A8%EC%B8%B5-%ED%8D%BC%EC%85%89%ED%8A%B8%EB%A1%A0%EC%9D%98-%EB%AC%B8%EC%A0%9C%EC%99%80-%ED%95%9C%EA%B3%84/

선형 분류란 직선 하나로 1이 출력되는 부분과 0이 출력되는 부분을 나눌 수 있다는 것을 뜻한다.

비선형 분류는 직선으로 불가능한, 곡선으로 분류하는 영역을 비선형 영역이라고 한다.

 

XOR의 경우,

출처 : https://medium.com/@omicro03/%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC-nlp-10%EC%9D%BC%EC%B0%A8-%ED%8D%BC%EC%85%89%ED%8A%B8%EB%A1%A0-5ef1af5a9a7

위의 사진과 같이 비선형으로 분류가능하기 때문에 비선형 분류에 속하게 되는 것이다.

 

비선형 분류가 불가능한 퍼셉트론을 보완하기 위해 나온게 다층 퍼셉트론이다.

XOR 게이트를 만드는 방법 중 하나는

AND, NAND, OR게이트를 조합하는 것이다.

출처 : http://blog.somi.me/deep%20learning/2019/11/14/DL(1)-perceptron/

위와 같은 방법으로 조합하여 XOR 게이트를 만들 수 있다.

이렇게 여러 게이트를 조합하여 사용하는 것을 '층을 쌓는다'라고 표현한다.