알고리즘
- 심층 신경망 (Deep Neural Network)
입력층과 출력층 사이에 다수의 은닉층을 포함하는 인공 신경망이다.
머신 러닝에서는 비선형 분류를 하기 위해 여러 트릭(trick)을 사용했다.
하지만 심층 신경망은 다수의 은닉층을 추가했기 때문에 별도의 트릭 없이 비선형 분류가 가능하다.
다수의 은닉층을 두었기 때문에 다양한 비선형적 관계를 학습할 수 있는 장점이 있지만, 학습을 위한 연산량이 많고, 기울기 소멸 문제 등이 발생할 수 있다.
이러한 문제를 해결하고자 앞서 설명한 드롭아웃, 렐루 함수, 배치 정규화 등을 적용해야 한다.
- 합성곱 신경망 (Convolutional Neural Network, CNN)
합성곱 신경망은 합성곱층 과 풀링층을 포함하는 이미지 처리 성능이 좋은 인공 신경망 알고리즘이다.
영상 및 사진이 포함된 이미지 데이터에서 객체를 탐색하거나 객체 위치를 찾아내는데 유용한 신경망이다.
합성곱 신경망은 이미지에서 객체, 얼굴, 장면을 인식하기 위해 패턴을 찾는 데 유용하다.
● 특징
각 층의 입출력 형상을 유지한다.
이미지의 공간 정보를 유지하면서 인접 이미지와 차이가 있는 특징을 효과적으로 인식한다.
복수 필터로 이미지의 특징을 추출하고 학습한다.
추출한 이미지의 특징을 모으고 강화하는 풀링층이 있다.
필터를 공유 파라미터로 사용하기 때문에 일반 인공 신경망과 비교하여 학습 파라미터가 매우 적다.
- 순환 신경망 (Recurrent neural network, RNN)
순환 신경망은 시계열 데이터 (음악, 영상 등) 같은 시간 흐름에 따라 변화하는 데이터를 학습하기 위한 인공 신경망이다.
따라서 “ 순환 “ 은 자기 자신을 참조한다는 것으로, 현재 결과가 이전 결과와 연관이 있다는 의미.
● 특징
데이터에 시간성 (temporal property) 을 가진 데이터가 많다.
시간성 정보를 이용하여 데이터의 특징을 잘 다룬다.
시간에 따라 내용이 변하므로 데이터는 동적이고, 길이가 가변적이다.
매우 긴 데이터를 처리하는 연구가 활발히 진행중이다.
자연어 처리 분야와 잘 맞는다.
대표적인 예로 언어 모델링, 텍스트 생성, 자동 변역, 음성인식, 이미지 캡션 생성 등이 있다.
- 제한된 볼츠만 머신 (Restricted Boltzman Machine, RBM)
볼츠만 머신은 가시층(visible layer)과 은닉층(hidden layer)으로 구성된 모델입니다.
이 모델에서 가시층은 은닉층과만 연결되는데(가시층과 가시층, 은닉층과 은닉층 사이에 연결은 없는) 이것이 제한된 볼츠만 머신이다.
● 특징
차원 감소, 분류, 선형 회귀 분석, 협업 필터링(collaborative filtering), 특성 값 학습(feature learning), 주제 모델링(topic modelling)에 사용한다.
기울기 소멸 문제를 해결하기 위해 사전 학습 용도로 활용 가능합니다.
심층 신뢰 신경망(DBN)의 요소로 활용된다.
- 심층 신뢰 신경망 (Deep Belief Network , DBN)
입력층과 은닉층으로 구성된 제한된 볼츠만 머신을 블록처럼 여러 층으로 쌓은 형태로 연결된 신경망이다.
사전 훈련된 제한된 볼츠만 머신을 층층이 쌓아 올린 구조로, 레이블이 없는 데이터에 대한 비지도 학습이 가능하다.
● 학습 절차
1. 가시층과 은닉층 1의 제한된 볼츠만 머신을 사전훈련한다.
2. 첫번째 층 입력 데이터와 파라미터를 고정하여 두번째 층 제한된 볼츠만 머신을 사전 훈련한다.
3. 원하는 층 개수만큼 제한된 볼츠만 머신을 쌓아올려 전체 DBN을 완성한다.
● 특징
순차적으로 심층 신뢰 신경망을 학습시켜 가면서 계층적 구조를 생성한다.
비지도 학습으로 학습한다.
위로 올라갈수록 추상적 특성을 추출한다.
학습된 가중치를 다층 퍼셉트론의 가중치 초기값으로 사용한다.