[논문리뷰] XGBoost: A scalable Tree Boosting System

 

데이터 불균형 처리 (SMOTE)

 

boosting: 속도가 느리고 overfitting이 쉽다. bagging에 비해 성능이 좋고 해석이 쉽다.

 

AdaBoost & GBM(Gradient Boost)

 

AdaBoost: GBM과 유사한 매커니즘. 다음에 오분류된 데이터를 선택될 확률이 높아지는 것

GBM: 경사하강법을 이용하여 새로 가중치를 업데이트한다. 이전 모델의 잔차를 가지고 weak model을 강화시킨다.(nagative gradient)

오분류값을 이용하는 AdaBoost와 다르게 Gradient Boost은 기울기를 이용한다.

  

예측 성능이 뛰어난다.

 

학습 시간이 오래걸린다.

과적합 위험이 있다.

병렬처리 불가능

 

잔차를 계속 줄이기 때문에 과적합된다는 문제점이 있음

GBM에 정규화 식을 추가한 게 XGBoost 알고리즘

 

CART기반으로 분류, 회귀 둘 다 가능

 

병렬처리 가능(GBM보다 빠름)과적합 규제항 기능 구현결측치를 내부적으로 처리나무 가지치기를 통해 분할 수를 더 줄임

 

구현시*(predict, fit 함수 사용방식이 다르니 주의 필요)

 

 

머신러닝 분류모델 평가(정밀도,재현율,f1-score등)

 

 

 

Abstract