문제점 / 해결방안

•   과적합

 

딥러닝의 핵심은 활성화 함수가 적용된 여러 은닉층을 결합하여 비선형 영역을 표현하는 것이다.

활성화 함수가 적용된 은닉층의 개수가 많을수록 데이터 분류가 잘될 것이다.

 

 

 

 

 

하지만, 과적합(over-fitting)은 훈련 데이터를 과하게 학습해서 발생한다. 

 

 

따라서 훈련 데이터를 과하게 학습했기 때문에 예측 값과 실제 값 차이인 오차가 감소하지만, 검증 데이터에 대해서는 오차가 증가한다. 

 

과적합은 훈련 데이터에 대해 과하게 학습하여 실제 데이터에 대한 오차가 증가하는 현상을 의미한다.

 

 

 

 

 

 

 

 

•   드롭아웃

 

 

 

 

신경망 모델이 과적합되는 것을 피하기 위한 방법으로, 학습 과정 중 임의로 일부 노드들을 학습에서 제외시킨다.

 

 

 

 

 

 

 

 

 

 

•   기울기 소멸 문제 발생

 

 

 

기울기 소멸 문제는 은닉층이 많은 신경망에서 주로 발생하는데, 출력층에서 은닉층으로 전달되는 오차가 크게 줄어들어 학습이 되지 않는 현상이다.

 

 

 

즉, 기울기가 소멸되기 때문에 학습되는 양이 ‘0’에 가까워져 학습이 더디게 진행되다 오차를 더 줄이지 못하고 그 상태로 수렴하는 현상이다.

 

기울기 소멸 문제는 시그모이드나 하이퍼볼릭 탄젠트 대신 렐루 활성화 함수를 사용하면 해결할 수 있다.

 

 

 

 

 

 

 

•   성능 저하 문제 발생

 

 

 

경사 하강법은 손실함수의 비용이 최소가 되는 지점을 찾을 때까지 기울기가 낮은 쪽으로 계속 이동시키는 과정을 반복하는데, 이때, 성능이 저하되는 문제가 발생한다.

 

 

 

 

 

 

 

 

 

 

 

•   해결책

 

 

 

 

 

 

 

 

 

●  배치 경사 하강법 (Batch Gradient Descent)

 

 

 

 

전체 데이터셋에 대한 오류를 구한 후 기울기를 한 번만 계산하여 모델의 파라미터를 업데이트하는 방법이다. 

 

 

즉, 전체 훈련 데이터셋(total training dataset)에 대해 가중치를 편미분하는 방법이다.

배치 경사 하강법은 다음 수식을 사용한다.

 

 

배치 경사 하강법은 한 스텝에 모든 훈련 데이터셋을 사용하므로 학습이 오래 걸리는 단점이 있다.

 

 

 

 

 

 

 

 

 

 

●  확률적 경사 하강법(Stochastic Gradient Descent)

 

 

 

 

임의로 선택한 데이터에 대해 기울기를 계산하는 방법으로 적은 데이터를 사용하므로 빠른 계산이 가능하다.

 

다음 오른쪽 그림과 같이 파라미터 변경 폭이 불안정하고, 때로는 배치 경사 하강법보다 정확도가 낮을 수 있지만 속도가 빠르다는 장점이 있다.

 

 

 

 

 

 

 

 

 

 

●  미니 배치 경사 하강법

 

 

전체 데이터셋을 미니 배치 여러 개로 나누고, 미니 배치 한 개마다 기울기를 구한 후 그것의 평균 기울기를 이용하여 모델을 업데이트해서 학습하는 방법이다.

 

 

미니 배치 경사 하강법은 전체 데이터를 계산하는 것보다 빠르며, 확률적 경사 하강법보다 안정적이라는 장점이 있기 때문에 실제로 가장 많이 사용한다. 

 

파라미터 변경 폭이 확률적 경사 하강법에 비해 안정적이면서 속도도 빠르다.