Explainable Artificial Intelligence 줄여서 XAI 는 '설명 가능한 의사 결정 체계' 라는 용어로 1975 년에 처음 등장했다.
이 당시엔 의사들의 의사 결정 과정이 체계적이지 않았기 때문에 적은수의 진단 경험과 이론을 근거로 환자들을 치료했고, 따라서 오진율이 높았다. 이에 따라 Buchanan과 Shortliffe는 부정확한 추론 과정을 확률적으로 모델링하는 방법을 제안한다. 이들은 규칙을 기반으로 조건부 확률 근사값 (Rule-based conditional probability approximation) 이라는 방식을 개발해 의사들의 의사 결정을 확률적이고, 체계적으로 정돈하는 방식을 제안하였다.
설명 가능한 인공지능은 2004년이 돼서야 XAI (Explainable Artificial Intelligence) 라는 전문 용어로 자리 잡는다. XAI라는 용어는 Michel van Lent와 Willam Fisher, Michael Mancuso 세 사람이 만들었다. 이들은 컴퓨터 시스템이나 인공지능 시스템은 복잡해지는 반면에 자기 설명 기능에는 발전이 없었다는 것을 지적했다.
이들은 군대의 모의 전투 프로그램 속 NPC 인공지능을 개조해서 NPC의 행동 이유를 설명하는 아키텍처를 제시했다. 이들이 설계한 인공지능은 명령 인공지능 (Command AI)와 제어 인공지능 (Control AI)가 분리된 형태로, 제어 인공지능은 게임속 상황을 벡터 형태로 정리하는 역할을 한다. 명령 인공지능은 행동 인공지능의 결과를 분석해서 명령을 내리는 역할을 한다.
2000년대까지만해도 XAI는 제한된 범위에서만 사용되었다. computing power를 비롯한 물리적인 제약 조건 때문이었다. 시간이 지나면서 인공지능의 유용성은 크게 증가했지만, 인공지능 모델의 설명 능력은 진척이 더뎠다.
XAI는 인공지능 모델이 특정 결로을 내리기까지 어떤 근거로 의사 결정을 내렸는지를 알 수 있게 설명 가능성을 추가하는 기법이다. 이것은 주로 머신러닝과 연관된 사람이 시스템을 신뢰하기 위해 사용된다. 인공지능에 설명 능력을 부여해 기계와 인간의 상호작용에 합리성을 확보하는 것이다.
XAI는 알고리즘 설계자와 의사 결정자를 합리적으로 설득한다. 이들은 XAI를 통해 시스템의 출력 결과를 신뢰할 수 있고, 다음 의사 결정을 위해 인공지능을 적극적으로 활용할 수 있다. 이러한 의미에서 XAI를 해석 가능한 인공지능 (Interpretable AI), 투명한 인공지능 (Transparent AI)라고도 부른다.
다르파에 의하면 XAI는 다음 세 가지 과정을 포함한다.
- 기존 머신러닝 모델에 설명 가능한 기능 추가
- 머신러닝 모델에 HCI (Human Computer Interaction) 기능 추가
- XAI를 통한 현재 상황의 개선
현재 XAI를 적용하는 대부분의 연구는 1번 과정에 있다. 첫번째 과정도 해결하기 어려운데, 첫번째 과정을 해결하려면 기존 머신러닝의 동작 방식을 충분히 이해하고 있어야 할 뿐만 아니라, 의미 정보에 대한 피처를 함께 모델에 삽입해야 하기 때문이다.
또한, 다르파가 제시하는 XAI를 적용하기 위해서는 해당 과제를 순서대로 해결해야한다고 제시한다.
- 현재 문제를 해결하는 머신러닝 모델을 만든다
- 설명 가능한 모델을 결합한다.
- 모델의 결과를 해석하는 인터페이스를 연결한다.
- 모델의 문제점을 발견하고 개선한다.
- 모델을 테스트하고 평가하는 파이프라인을 구축한다.
다르파는 XAI를 통해 머신러닝 모델을 활요하는 것 뿐만 아니라 모델에 자기 설명적인 기능을 추가했을 때 어떤 이점이 있는지 설명한다. 위 그림에 의하면 XAI는 머신러닝 모델이 왜 특정 행동을 하는지 설명할 수 있으며, 왜 의도한대로 동작하지 않는지에 관한 근거를 제시하는 기술이다.
다르파는 머신러닝 기술과 설명 가능성의 거래 관계를 개선 시킬 수 있는 3가지 XAI 기법을 소개한다.
먼저, Deep Explanation 딥러닝에 대한 설명 모델 개발이다. 다음으로, Interpretabel Models 해석가능한 모델, 마지막으로 Model Induction 귀납적 모델(모델을 가리지 않는 XAI) 기법이다.
이 3가지 기법은 기법을 적용할 수 있는 상황과 효용에 따라 선별적으로 사용될 수 있다.
우측 상단의 그래프를 보면 주황색 점이 현재를 의미하고 초록색 점이 미래를 의미한다.
현재는 설명 가능성이 높아질 수록 성능이 저하되는 경향을 보인다. 하지만 XAI의 기법으로 인해 그래프의 전체 방향을 오른쪽으로 옮길 수 있을 거이라 기대한다.