[AI] XAI, eXplanable AI이란

설명 가능한 인공지능: XAI

 

머신러닝: 컴퓨터 비전, 회귀 분석, 시계열 예측, 분류, 음성 인식, 문자 인식 에 사용 되었다.

하지만 머신러닝, 몇몇 딥러닝 알고리즘의 작동 방식은 black box와도 같다. 이는 모델의 입력값, 출력값 이외의 작동 원리를 알기 힘들다는 것이다. 딥러닝은 학습 방식은 간단한 미분 계산들로 이루어져 있지만, 정확도 개선을 위해 무수히 많은 layer를 쌓아 결과적으로 복잡한 모델이 만들어 진다.

 

ML 모델  

• black box: XGBoost, Random Forest
  • XGBoost는 Decision Tree의 Overfitting 단점을 극복하기 위해 Single Decision Tree를 쌓은 것이다.
• white box: Decision Tree

XAI

모델의 정확도 이외의 추가적인 정보가 필요할 수 있습니다. 

• transparent models vs opaque models
• model specific vs model agnostic

 

1. transparent models vs opaque models

• transparent model(white box)- 단순한 알고리즘
  • Linear Regression, Decision Tree, K-Nearest Neighbors, 등
• opaque model(black box) - 복잡한 알고리즘
  • Random Forest, Deep Neural Network, 등

 

2. model specific vs model agnostic

• model specific: 모델의 본질적인 구조를 이용하여 설명력을 제공하는, 특정 알고리즘에만 적용가능한 기법
  • CAM(Class Activation Map): CNN(Convolutional Neural Network)계열의 알고리즘에서 layer-level의 시각화
  •  Tree ensemble model에서 사용되는: inTrees
  • Reinforcement Learning을 해석하기 위한: XRL(eXplainable Reinforcement Learning)
• model agnostic 
  • 일반적으로 post-hoc하며, 어떤 알고리즘에도 적용 가능하다는 장점
  • 실제 인기 있는 XAI 기법(PDP, ICE, LIME, SHAP 등) 상당수가 이 분류에 속합니다.