[ML] 부스팅 기법 알고리즘 발전: Xgboost, LightGBM, CatBoost

부스팅 기법: 여러 약한 머신러닝 기법을 순차적으로 학습해 오류를 개선해 나가면서 성능을 높여 가는 앙상블 기법

속도: 랜덤 포레스트(여러 나무를 병렬 방식으로 학습) > 부스팅 기법(직렬로 순차적으로 학습)

 

캐글에서 주로 쓰이는 부스팅 기법: Xgboost, LightGBM, CatBoost

발전

 

GBM(Gradient Boosting Machine)

잔차(실제값과 그 평균의 차이)를 학습하는 모델을 만들고 이를 활용해 잔차를 예측한 값에 LR(learning rate)를 곱한 후 평균에 더헤 실제 예측값을 업데이트 하는 과정을 반복(과정: 잔차를 줄이는 학습이 반복됨)

 

즉, Overfitting(과적합) 문제가 발생

 

따라서  

 

오차(error)와 잔차(residual)의 차이

잔차: (모델의) 예측값-실제값

오차: 예측값-실제값

차이점: 모집단에서 얻은 것이냐 / 표본집단에서 얻은 것이냐

 

 

즉, 만약에 A가 수학 문제를 풀었는데 10문제 중 3문제를 틀렸다. 그러면 B는 틀린 3문제를 다시 풀고 1문제를 또 틀리면 C는 그 1문제를 다시 풀고 이 방식으로 풀어 나간다고 생각할 수 있다.

 

이러한 방법을 계속하면 잔차는 계속해서 줄어들게되고, training set을 잘 설명하는 예측 모형을 만들 수 있게 됩니다. 하지만 이러한 방식은 bias는 상당히 줄일 수 있어도, 과적합이 일어날 수도 있다는 단점이 있습니다. 따라서 실제로 GBM을 사용할 때는 sampling, penalizing 등의 regularization 테크닉을 이용하여 더 advanced 된 모델을 이용하는 것이 보편적입니다. 

출처: https://3months.tistory.com/368 [Deep Play:티스토리]