딥러닝 (3)

•   퍼셉트론 구조

 

 

 

퍼셉트론은 다수의 신호를 입력 받아 하나의 신호를 출력한다.

이는 뉴런이 전기 신호를 내보내 정보를 전달하는 것과 비슷하다.

 

 

 

뉴런의 수상돌기나 축삭돌기처럼 신호를 전달하는 역할을 퍼셉트론에서는 가중치(weight) 가 그 역할을 한다.

가중치라고 부르는 이 weight는 각각의 입력신호에 부여되어 입력신호와의 계산을 하고 신호의 총합이 정해진 임계값(θ; 세타)을 넘었을 때 1을 출력한다. 

 

[이를 뉴런의 활성화 (activation) 으로도 표현] 넘지 못하면 0 또는 -1을 출력한다.

 

 

 

 

 

 

 

각 입력신호에는 고유한 weight가 부여되며 weight가 클수록 해당 신호가 중요하다고 볼 수 있다.

 

여기서 기계학습이 하는 일은 이 weight(입력을 조절하니 매개변수로도 볼 수 있음)의 값을 정하는 작업이라고 할 수 있다.

학습 알고리즘에 따라 방식이 다를 뿐 이 weight를 만들어내는 것이 학습이라는 차원에서는  모두 같다고 할 수 있다.

 

 

 

‘훈련 데이터 셋 1000개에 대한 배치 크기가 20’ 이라면 샘플 단위 20개 마다 모델 가중치를 한번씩 업데이트 시킨다는 의미.

 

 

즉, 총 50번(=1000/20) 의 가중치가 업데이트된다. 

이때 에포크가 10이고 배치크기가 20이라면, 가중치를 50번 업데이트하는껏을 총 10번 반복한다는 것이다.

결과적으로 가중치가 총 500번 업데이트 된다.

 

 

 

 

 

* 수상돌기 : 주변이나 다른 뉴런에서 자극을 받아들이고, 이 자극들을 전기적 신호 형태로 세포체와 축삭돌기로 보내는 역할을 한다.

* 시냅스 : 신경 세포들이 이루는 연결 부위로, 한 뉴런의 축삭돌기와 다음 뉴런의 수상돌기가 만나는 부분이다.

* 축삭돌기 : 다른 뉴런(수상돌기)에 신호를 전달하는 기능을 하는 뉴런의 한 부분이다.

뉴런에서 뻗어 있는 돌기 중 가장 길며, 단 1개만 있다.

* 축삭말단 : 전달된 전기 신호를 받아 신경 전달 물질을 시냅스 틈새로 방출한다.

* 에포크 : 훈련 단계에서 한 번에 처리할 데이터 양

 

 

 

 

 

 

 

 

•   과정

 

 

 

1. 임의로 설정된 weight로 시작한다. (초기화, initializing)

2. 학습 데이터를 퍼셉트론 모형에 입력하며, 분류가 잘못되었을 때 weight를 개선해 나간다.

 

 

 

퍼셉트론은 모든 학습 데이터를 정확히 분류시킬 때까지 학습이 진행되기 때문에 학습 데이터가 선형적으로 분리될 수 있을 때 적합한 알고리즘이다.

 

 

 

 

 

 

 

 

 

 

 

 

•   가중치와 편향

 

 

 

앞의 퍼셉트론 수식에서 나오는 세타θ를 -b로 치환하여 좌변으로 넘기면 

 

    b + w1x1 + w2x2 <0    => 0

    b + w1x1 + w2x2 >=0  => 1

 

 

 

과 같이 되며 여기에서 b를 편향(bias)라고 할 수 있다.

기계학습 분야에서는 모델이 학습 데이터에 과적합(overfitting)되는 것을 방지하는 것이 중요하다. 

 

여기서 과적합이라 함은 모델이 엄청 유연해서 학습 데이터는 귀신같이 잘 분류하지만, 다른 데이터를 넣어봤을 때는 제대로 성능을 발휘하지 못하는 것을 말한다. 

 

어느 데이터를 넣어도 일반적으로 잘 들어맞는 모델을 만드는 것이 중요하다.

 

 

 

 

 

 

 

편향은 θ(theta)로 학습 데이터(Input)이 가중치와 계산되어 넘어야 하는 임계점으로 이 값이 높으면 높을 수록 그만큼 분류의 기준이 엄격하다는 것을 의미한다. 

 

그래서 편향이 높을 수록 모델이 간단해지는 경향이 있으며, (변수가 적고 더 일반화 되는 경우) 오히려 과소적합(underfitting)의 위험이 발생하게 된다. 

 

 

반대로 편향이 낮을수록 한계점이 낮아 데이터의 허용범위가 넓어지는 만큼 학습 데이터에만 잘 들어맞는 모델이 만들어질 수 있으며 모델이 더욱 복잡해질 것이다. 

허용범위가 넓어지는 만큼 필요 없는 노이즈가 포함될 가능성도 높다.

 

 

 

 

 

가중치(weight)는 입력신호가 결과 출력에 주는 영향도를 조절하는 매개변수이고, 

편향(bias)은 뉴런(또는 노드; x를 의미)이 얼마나 쉽게 활성화(1로 출력; activation)되느냐를 조정하는(adjust) 매개변수이다.

 

 

 

 

 

 

 

 

 

 

 

•   한계

 

 

퍼셉트론은 직선 하나로만 나눈 영역을 표현할 수 있어 XOR같은 형태는 분류가 불가능하다.

 

 

하지만 다층 퍼셉트론을 만들면 해결가능하다.

단층 퍼셉트론이 비선형 영역을 분리할 수 없다는것이 문제이며, 이를 다층으로 했을때 해결할 수 있다.