(Paper Review) CNN CNN Paper Link : https://arxiv.org/pdf/1511.08458.pdf Introduction ANN(Artificial Neural Network) 은 생물학적 신경망에서 영감을 받은 계산 모델로, 일반적인 기계 학습 작업에서 이전 형태의 인공 지능에 비해 우수한 성능을 보여준다. ANN 아키텍처의 가장 효과적인 형태 중 하나는 CNN (Convolution Neural Network) 이다. CNN은 주로 복잡한 이미지 기반 패턴 인식 작업을 해결하는 데 사용된다. ANN 은 인간의 뇌와 같은 생물학적 신경계가 작동하는 방식을 모방하도록 설계된 컴퓨터 처리 시스템이다. ANN은 뉴런이라고 하는 상호 연결된 수많은 계산 노드로 구성된다. 이러한 뉴런은 분산된 방식으로 함께 작동.. 2023. 6. 14. (Paper Review) GRU Paper Link : https://arxiv.org/pdf/1412.3555.pdf RNNs Paper Review : https://mohazi.tistory.com/entry/Paper-Review-Recurrent-Neural-Networks-RNNs LSTM Paper Review : https://mohazi.tistory.com/entry/Paper-Review-Long-Short-Term-Memory-LSTM Introduction RNN의 성공은 기계 번역을 비롯한 다양한 응용 분야에서 입증되었다.그러나 기본 RNN을 사용한 것이 아니라 보다 정교한 hidden unit을 반복 사용하여 달성되었다는 점을 알 수 있다. RNN의 다양한 유형의 순환 단위, 특히 게이팅 메커니즘을 구현하는 .. 2023. 6. 8. (Paper Review) LSTM Paper Link : https://www.cs.toronto.edu/~graves/preprint.pdf RNNs Paper Review : https://mohazi.tistory.com/entry/Paper-Review-Recurrent-Neural-Networks-RNNs RNN Disadventage RNN에서 생기는 이 문제는 새로운 입력이 hidden layer의 활성화를 덮어쓰므로 특정 시간 스텝의 입력에 대한 네트워크 내 노드의 민감도가 시간이 지남에 따라 감소할 때 발생한다. 즉, 네트워크는 이전 time step의 정보를 “잊어버리므로” 장기적인 종속성이 필요한 작업의 성능이 저하될 수 있다. Vanishing Gradient 문제는 RNN이 시간을 통한 BPTT 를 사용하여 훈련되.. 2023. 6. 8. (Paper Review) BRNN Paper Link : https://www.cs.toronto.edu/~graves/preprint.pdf RNNs Paper Review : https://mohazi.tistory.com/entry/Paper-Review-Recurrent-Neural-Networks-RNNs Limitations of RNNs (Bidirectional Neural Networks) 첫 번째 해결책은 네트워크 입력에 미래 컨텍스트의 시간 창을 추가하는 것입니다. 그러나 이 접근 방식은 시간 창 방법과 동일한 문제가 생긴다. (context 정보 손실, 가변적인 패턴 처리의 어려움, 예측 시점의 제약 등) 두 번째 해결책은 입력과 대상 사이에 지연을 도입하여 네트워크가 향후 context를 몇 단계 발전시킬 수 있도.. 2023. 6. 7. (Paper Review) Recurrent Neural Networks (RNNs) Paper Link : https://www.cs.toronto.edu/~graves/preprint.pdf MLP Review : https://mohazi.tistory.com/entry/Paper-Review-Multi-Layer-Perceptron-MLP Feed-forward networks vs Recurrent Neural Networks feed-forward networks 에는 입력에서 출력까지 한 방향으로 연결되는 연결만 있다. feed forward networks 는 입력에서 출력 벡터로만 매핑할 수 있기 때문에 시퀀스 학습에 광범위한 영향을 미친다는 것이다. 반면, RNN에는 이전 입력의 “memory”가 네트워크의 내부 상태를 유지하고 네트워크 출력에 영향을 줄 수 있는 주기적.. 2023. 6. 7. (Paper Review) Multi-Layer Perceptron (MLP) Paper Link : https://www.cs.toronto.edu/~graves/preprint.pdf Multi layer Perceptron 가장 널리 사용되는 Feed-forward Neural Network 형태가 MLP이다. MLP는 상호 연결된 단위 계층으로 구성되며 입력 패턴은 입력 계층에 표시되고 숨겨진 계층을 통해 출력 계층으로 전파된다. 이 프로세스를 네트워크의 Forward Pass 라고 한다. MLP의 출력은 현재 입력에만 의존하고 과거 또는 미래의 입력에는 의존하지 않으므로 Sequence Labeling 보다 패턴 분류에 더 적합하다. 특정 가중치 값 세트를 가진 MLP는 입력 벡터에서 출력 벡터로의 함수를 정의한다. 가중치를 변경하여 단일 MLP가 다양한 함수를 인스턴스화.. 2023. 6. 7. 이전 1 다음
