본문 바로가기
Reinforcement Learning Introduction 참고 강의 :  https://www.youtube.com/playlist?list=PLvbUC2Zh5oJtYXow4jawpZJ2xBel6vGhC 오승상 강화학습 Deep Reinforcement Learning고려대학교 오승상 교수의 강화학습 Deep Reinforcement Learning 강의 입니다. 딥러닝과 수학 DLmath 팀을 운영하고 있습니다. (자료) https://sites.google.com/view/seungsangohwww.youtube.com1. Machine Learning algorithm categories기계학습은 원하는 출력을 생성하는 규칙을 찾는 학습 알고리즘을 작성하여 데이터와 함께 입력하는 방식이다. 이를 바탕으로 입력값을 출력(or 정답) 값으로 mapping 하.. 2024. 8. 25.
XAI Explainable Artificial Intelligence 줄여서 XAI 는 '설명 가능한 의사 결정 체계' 라는 용어로 1975 년에 처음 등장했다. 이 당시엔 의사들의 의사 결정 과정이 체계적이지 않았기 때문에 적은수의 진단 경험과 이론을 근거로 환자들을 치료했고, 따라서 오진율이 높았다. 이에 따라 Buchanan과 Shortliffe는 부정확한 추론 과정을 확률적으로 모델링하는 방법을 제안한다. 이들은 규칙을 기반으로 조건부 확률 근사값 (Rule-based conditional probability approximation) 이라는 방식을 개발해 의사들의 의사 결정을 확률적이고, 체계적으로 정돈하는 방식을 제안하였다. 설명 가능한 인공지능은 2004년이 돼서야 XAI (Explainable.. 2023. 6. 26.
(Paper Review) CNN CNN Paper Link : https://arxiv.org/pdf/1511.08458.pdf Introduction ANN(Artificial Neural Network) 은 생물학적 신경망에서 영감을 받은 계산 모델로, 일반적인 기계 학습 작업에서 이전 형태의 인공 지능에 비해 우수한 성능을 보여준다. ANN 아키텍처의 가장 효과적인 형태 중 하나는 CNN (Convolution Neural Network) 이다. CNN은 주로 복잡한 이미지 기반 패턴 인식 작업을 해결하는 데 사용된다. ANN 은 인간의 뇌와 같은 생물학적 신경계가 작동하는 방식을 모방하도록 설계된 컴퓨터 처리 시스템이다. ANN은 뉴런이라고 하는 상호 연결된 수많은 계산 노드로 구성된다. 이러한 뉴런은 분산된 방식으로 함께 작동.. 2023. 6. 14.
(Paper Review) DQN DQN Paper link : https://arxiv.org/pdf/1312.5602.pdf Introduction 강화 학습은 딥러닝 관점에서 볼 때 몇 가지 과제를 제시한다. 첫째, 지금까지 가장 성공적인 딥 러닝 응용 프로그램에는 손으로 레이블링한 대량의 학습 데이터가 필요하다. 반면 RL 알고리즘은 자주 희소하고 노이즈가 많으며 지연되는 스칼라 보상 신호로부터 학습할 수 있어야 한다. 즉, 알고리즘은 항상 존재하지 않는 보상 신호로부터 학습해야 하며, 그럴 경우 해석하기 어려울 수 있다. 둘째, 대부분의 딥 러닝 알고리즘이 데이터 샘플이 독립적이라고 가정하지만, 강화 학습에서는 일반적으로 상관관계가 높은 상태의 시퀀스가 발생한다는 것입니다. 즉, 데이터가 독립적이지 않고 상관관계가 높을 수 있으.. 2023. 6. 9.
(Paper Review) GRU Paper Link : https://arxiv.org/pdf/1412.3555.pdf RNNs Paper Review : https://mohazi.tistory.com/entry/Paper-Review-Recurrent-Neural-Networks-RNNs LSTM Paper Review : https://mohazi.tistory.com/entry/Paper-Review-Long-Short-Term-Memory-LSTM Introduction RNN의 성공은 기계 번역을 비롯한 다양한 응용 분야에서 입증되었다.그러나 기본 RNN을 사용한 것이 아니라 보다 정교한 hidden unit을 반복 사용하여 달성되었다는 점을 알 수 있다. RNN의 다양한 유형의 순환 단위, 특히 게이팅 메커니즘을 구현하는 .. 2023. 6. 8.
(Paper Review) LSTM Paper Link : https://www.cs.toronto.edu/~graves/preprint.pdf RNNs Paper Review : https://mohazi.tistory.com/entry/Paper-Review-Recurrent-Neural-Networks-RNNs RNN Disadventage RNN에서 생기는 이 문제는 새로운 입력이 hidden layer의 활성화를 덮어쓰므로 특정 시간 스텝의 입력에 대한 네트워크 내 노드의 민감도가 시간이 지남에 따라 감소할 때 발생한다. 즉, 네트워크는 이전 time step의 정보를 “잊어버리므로” 장기적인 종속성이 필요한 작업의 성능이 저하될 수 있다. Vanishing Gradient 문제는 RNN이 시간을 통한 BPTT 를 사용하여 훈련되.. 2023. 6. 8.
(Paper Review) BRNN Paper Link : https://www.cs.toronto.edu/~graves/preprint.pdf RNNs Paper Review : https://mohazi.tistory.com/entry/Paper-Review-Recurrent-Neural-Networks-RNNs Limitations of RNNs (Bidirectional Neural Networks) 첫 번째 해결책은 네트워크 입력에 미래 컨텍스트의 시간 창을 추가하는 것입니다. 그러나 이 접근 방식은 시간 창 방법과 동일한 문제가 생긴다. (context 정보 손실, 가변적인 패턴 처리의 어려움, 예측 시점의 제약 등) 두 번째 해결책은 입력과 대상 사이에 지연을 도입하여 네트워크가 향후 context를 몇 단계 발전시킬 수 있도.. 2023. 6. 7.
(Paper Review) Recurrent Neural Networks (RNNs) Paper Link : https://www.cs.toronto.edu/~graves/preprint.pdf MLP Review : https://mohazi.tistory.com/entry/Paper-Review-Multi-Layer-Perceptron-MLP Feed-forward networks vs Recurrent Neural Networks feed-forward networks 에는 입력에서 출력까지 한 방향으로 연결되는 연결만 있다. feed forward networks 는 입력에서 출력 벡터로만 매핑할 수 있기 때문에 시퀀스 학습에 광범위한 영향을 미친다는 것이다. 반면, RNN에는 이전 입력의 “memory”가 네트워크의 내부 상태를 유지하고 네트워크 출력에 영향을 줄 수 있는 주기적.. 2023. 6. 7.
(Paper Review) Multi-Layer Perceptron (MLP) Paper Link : https://www.cs.toronto.edu/~graves/preprint.pdf Multi layer Perceptron 가장 널리 사용되는 Feed-forward Neural Network 형태가 MLP이다. MLP는 상호 연결된 단위 계층으로 구성되며 입력 패턴은 입력 계층에 표시되고 숨겨진 계층을 통해 출력 계층으로 전파된다. 이 프로세스를 네트워크의 Forward Pass 라고 한다. MLP의 출력은 현재 입력에만 의존하고 과거 또는 미래의 입력에는 의존하지 않으므로 Sequence Labeling 보다 패턴 분류에 더 적합하다. 특정 가중치 값 세트를 가진 MLP는 입력 벡터에서 출력 벡터로의 함수를 정의한다. 가중치를 변경하여 단일 MLP가 다양한 함수를 인스턴스화.. 2023. 6. 7.

티스토리툴바